GPT
הוספת כלי
W

Wizard-Vicuna-13B-Uncensored

קוד פתוח

QuixiAIother2023-05-11

  • transformers
  • pytorch
  • llama
  • text-generation
  • uncensored

גרסה לא מצונזרת של מודל 13B שמבוססת על LLaMA ונועדה לענות על הכל בלי הטפות מוסר. מתאימה למי שרוצה בסיס נקי ומתכנן להוסיף שכבות יישור בעצמו.

  • 2,048טוקנים בהקשר
  • 48.5 GBמשקל הקבצים
  • 151הורדות בחודש
  • 323לייקים

מה זה

מדובר באימון של המודל המקורי על תת קבוצה של נתונים שממנה הוסרו בכוונה כל התשובות שכללו הטפות מוסר או מנגנוני יישור מובנים. המטרה כאן ברורה, ליצור נקודת פתיחה נקייה לחלוטין כדי שמפתחים יוכלו להלביש עליה יישור מותאם אישית משלהם, למשל דרך LoRA, במקום להיאבק בסירובים של מודל שכבר חונך מראש.

במדדים הוא מציג תמונה מעורבת שמאפיינת את הדור הראשון של מודלי LLaMA. הוא עומד על ממוצע של 49.52 במבחני הלידרבורד, עם ציון יפה של 81.95 ב־HellaSwag שמראה הבנה לא רעה של הקשרים, לצד 47.92 בלבד ב־MMLU. היכולת החישובית והלוגית שלו חלשה מאוד, כפי שרואים בציון של 8.64 בלבד ב־GSM8K. הוא טוב בעיקר לטקסט חופשי, לא למתמטיקה.

מתאים ל

  • אימון שכבות יישור

    משמש כבסיס גולמי ונקי שמאפשר להלביש עליו שכבת LoRA עם כללי בטיחות ייעודיים שלכם.

  • מחקר על מודלים לא מצונזרים

    בדיקת תגובות מודל וביצועים ללא פילטרים מובנים שמשבשים את התוצאות המקוריות.

  • יצירת טקסט חופשי באנגלית

    כתיבה יצירתית או מענה ישיר לשאלות בלי סירובים מובנים והרצאות על תקינות פוליטית.

איפה זה נופל

היוצרים מבהירים במפורש שאין פה שום מעקות בטיחות. המודל יענה על הכל, כולל דברים פוגעניים או מסוכנים, והאחריות על מה שיוצא ממנו חלה במלואה עליכם בדיוק כמו בשימוש בסכין או רכב. מעבר לזה, עם חלון הקשר קצר של 2,048 טוקנים בלבד הוא יתקשה לעבד מסמכים ארוכים, והציון הנמוך במתמטיקה של 8.64 ב־GSM8K פוסל אותו מיד מכל משימה של ניתוח נתונים או חישוב.

שאלות
נפוצות

האם המודל תומך בעברית?

המודל מוגדר ומאומן רשמית עבור השפה האנגלית בלבד. הוא עשוי לפלוט מילים בודדות בעברית אם יקבל קלט כזה, אבל הוא לא אומן על טקסטים מקומיים והתוצאה תהיה שבורה ומקוטעת, כך שהוא לא מתאים לעבודה בעברית.

למה הקבצים שוקלים 48.5 גיגה בייט עבור מודל של 13B?

המשקלים נשמרו בדיוק מלא של float32, שתופס פי שניים נפח מ־fp16 הרגיל ופי ארבעה מגרסאות מכומתות. כדי להשתמש בו ביום יום תצטרכו להמיר אותו בעצמכם לדיוק נמוך יותר, אחרת הוא יחנוק את כרטיס המסך.

איך מריצים

המשקל של הקבצים כאן עצום ועומד על 48.5 גיגה בייט בגלל שמירה בדיוק מלא של float32 בתוך 18 קבצים שונים. כדי להריץ את זה בצורה כזו תצטרכו כרטיס מסך רציני מאוד עם זיכרון וידאו של 48 גיגה לפחות, או לחלופין לבצע המרה וכימות ידני לדיוק נמוך יותר של 4 או 8 ביט כדי לדחוס אותו לחומרה ביתית.

אם אין לכם שרת ייעודי פנוי עם כוח עיבוד מתאים, הורדה של 48.5 גיגה רק כדי לבדוק מודל משנת 2023 היא עניין כבד ומסורבל. במקרים שבהם אתם רק צריכים תשובות ללא סינון עדיף לעבוד מול מודלים קלים יותר שכבר עברו כימות או פשוט להשתמש בפתרונות API קיימים.

from transformers import pipeline

pipe = pipeline("text-generation", model="QuixiAI/Wizard-Vicuna-13B-Uncensored")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 48.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר כמו MIT או אפאצ'י. במצב כזה אי אפשר לדעת מראש מה מותר לעשות עם המודל, ואסור להניח שמותר לשלב אותו במוצר מסחרי. לפני שמשקיעים בפיתוח סביבו חובה לאתר את תנאי השימוש המקוריים של הפרויקט כדי לבדוק אם יש מגבלות על שימוש מסחרי והפצה.

הרישיון המלא בעמוד המודל ↗