Wizard-Vicuna-13B-Uncensored-HF

מה זה

מדובר בהמרה לדיוק של float16 שביצע TheBloke לפיתוח של Eric Hartford, המבוסס על שילוב של Wizard ו־Vicuna. מטרת האימון המקורית הייתה הוצאת תשובות שמכילות הטפות מוסר או מנגנוני יישור מובנים מתוך הנתונים, וכך להשאיר את המודל פתוח לחלוטין.

הקוד המקורי נשמר במקור ב־float32, וההמרה הזו נועדה להקל על אחסון ושימוש ישיר בעזרת transformers. המבנה נשען על ארכיטקטורת Llama עם 40 שכבות, והייעוד המרכזי שלו הוא לשמש בסיס שאליו אפשר לחבר בהמשך התאמות ייעודיות, למשל דרך RLHF LoRA, במקום להילחם בסירובים מובנים של המערכת.

מתאים ל

• אימון LoRA ייעודי

  בסיס נקי מחסימות שמאפשר להלביש עליו מנגנוני התאמה והתנהגות מותאמים אישית.

• המרות לפורמטים אחרים

  משקלי float16 סטנדרטיים של HF שנוח להמיר אותם לפורמטים מכווצים שונים.

• מחקר על מודלים ללא סינון

  בדיקת התנהגות של מודל שהוסרו ממנו תשובות הכוללות מוסר והטפה.

איפה זה נופל

היוצרים מבהירים במפורש שאין כאן מעקות בטיחות כלל, וכל תוכן שהמודל מייצר נמצא באחריות המשתמש בלבד, בדיוק כמו שימוש בחפץ מסוכן. חוץ מזה, חלון ההקשר עומד על 2,048 טוקנים בלבד, מה שמגביל מאוד ניתוח של טקסטים ארוכים. המודל גם מוגדר לשפה האנגלית בלבד, כך שלא כדאי לבנות עליו לפרויקטים שדורשים עברית בלי בדיקה מקיפה.

אותה משפחה

Wizard-Vicuna-13B-Uncensored יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את הגרסה הזו צריך להתמודד עם משקל כולל של 24.2 GB המחולק ל־12 קבצים, מה שדורש כרטיס גרפי עם נפח זיכרון ייעודי גדול מספיק להחזקת המשקלים בדיוק float16. אם אין לכם את החומרה המתאימה, TheBloke יצר גם גרסאות מכווצות בפורמטים אחרים כמו GPTQ לכרטיסי מסך או GGML למעבדים רגילים.

הרצה מקומית של קובצי HF המקוריים שווה את המאמץ בעיקר אם מתכננים לבצע המרות נוספות או כוונון עדין. לשימוש שוטף בתור שירות קצה, סביר להעדיף קריאות לשרת חיצוני או שימוש באחת מגרסאות ה־4bit שחוסכות במשאבים.

from transformers import pipeline

pipe = pipeline("text-generation", model="TheBloke/Wizard-Vicuna-13B-Uncensored-HF")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin9.9 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.2 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json33.4 KB
• README.md3.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json727 B
• config.json613 B
• special_tokens_map.json435 B
• generation_config.json132 B

הרישיון

הרישיון מוגדר כ־other ללא פירוט תנאים ברור בכרטיס. במצב כזה אי אפשר לדעת אם מותר להשתמש בו במוצר מסחרי, ומומלץ לבדוק את תנאי הרישיון של פרויקט המקור לפני שמשלבים אותו במערכת פעילה.

הרישיון המלא בעמוד המודל ↗