GPT
הוספת כלי
D

Daredevil-8B-abliterated

קוד פתוח

mlabonneother2024-05-26

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסה לא מצונזרת של מודל 8B שמבוסס על ארכיטקטורת Llama. הוא פונה למי שמחפש ביצועים גבוהים בקטגוריה שלו בלי חסימות וסירובים מובנים.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 8,529הורדות בחודש

מה זה

הבסיס כאן הוא מודל שפותח כדי לעקוף את מנגנוני הסירוב המקובלים. היוצר לקח את Daredevil-8B וביצע עליו תהליך שמנטרל את כיוון הסירוב ברשת, טכניקה שנועדה להפוך אותו למודל לא מצונזר שלא מסרב לבקשות שלכם.

במדד Open LLM Leaderboard הוא הגיע למקום השני בין מודלי 8B במבחן MMLU נכון לסוף מאי 2024. בבדיקות של היוצר עם LLM AutoEval הוא קיבל ציון ממוצע של 55.06, שזה קצת פחות מגרסת המקור שקיבלה 55.87, אבל עדיין עוקף את Meta-Llama-3-8B-Instruct הרשמי שעומד על 51.34. במבחנים ספציפיים כמו GPT4All הוא שומר על 73.33 לעומת 69.86 של המודל המקורי מבית מטא. הנטרול כמעט לא פגע ביכולות הכלליות שלו.

מתאים ל

  • משחקי תפקידים

    מתאים לכתיבה ומשחקי תפקידים שדורשים חופש יצירתי מוחלט ללא התערבות של מנגנוני סירוב.

  • מחקר על מנגנוני סירוב

    משמש כלי מצוין לבדיקת שיטות הסרת מגבלות והשפעתן על מדדי ידע כללי כמו MMLU.

  • צ'אט מקומי נטול צנזורה

    עובד היטב בתוכנות מקומיות דרך קובצי GGUF למענה חופשי על שאלות ללא סינונים.

איפה זה נופל

המודל מוגדר במפורש כלא מצונזר וללא יישור ערכים. המשמעות היא שהוא לא יסנן תוכן פוגעני, שגוי או מסוכן, ולא מתאים לעבודה שדורשת בקרת תוכן. בנוסף, בהשוואה לגרסת Daredevil-8B הרגילה יש ירידה קלה בביצועים, מ־55.87 ל־55.06 בממוצע, ובמיוחד במבחן TruthfulQA שירד מ־59.05 ל־57.47. חלון ההקשר שלו מוגבל ל־8,192 טוקנים, כך שהוא לא בנוי למסמכים ארוכים במיוחד.

שאלות
נפוצות

האם המודל מדבר עברית?

הוא מבוסס על Llama 3 ומסוגל לייצר עברית בסיסית, אך הוא לא אומן במיוחד לשפה זו. במשימות מורכבות בעברית הוא עלול לטעות או להישמע עילג.

האם כדאי להעדיף אותו על פני Llama 3 8B הרשמי?

אם אתם סובלים מסירובים חוזרים של המודל המקורי, התשובה חיובית. המדדים מראים שהוא אפילו מוביל עליו בציונים הכלליים, אך הוא נטול רשתות ביטחון לחלוטין.

איך מריצים

כדי להריץ את גרסת ה־bfloat16 המלאה דרך transformers וספריית accelerate, תצטרכו לפחות 16 עד 20 גיגה בייט של זיכרון וידאו, כלומר כרטיס כמו RTX 3090 או A10G. המשקל של הקבצים עומד על 15.0 גיגה בייט.

למי שרוצה לעבוד מקומית על מחשב אישי בלי חומרה כבדה, היוצר מציע גרסאות GGUF שמתאימות לכלים כמו LM Studio עם פרופיל Llama 3. אם אין לכם מעבד גרפי מתאים ואינכם רוצים להתעסק עם כימות, עדיף להשתמש בשרת ענן ייעודי לפי שעה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/Daredevil-8B-abliterated")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, כלומר רישיון מותאם אישית שלא הוגדר במפורש בעמוד כרישיון קוד פתוח סטנדרטי. לא מומלץ לשלב אותו במוצר מסחרי לפני שבודקים את תנאי השימוש המדויקים של מודל המקור ועבודת הנגזרת.

הרישיון המלא בעמוד המודל ↗