GPT
הוספת כלי
N

NeuralDaredevil-8B-abliterated

קוד פתוח

mlabonnellama32024-05-27

  • transformers
  • safetensors
  • llama
  • text-generation
  • dpo

גרסת קוד פתוח ללא צנזורה שמבוססת על Llama 3 בת שמונה מיליארד פרמטרים. היא נועדה למי שצריך מודל שלא יסרב לפקודות וישמור על ביצועים גבוהים במשימות טקסט כלליות.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 14,223הורדות בחודש

מה זה

זהו עיבוד של Daredevil-8B-abliterated שעבר אימון DPO על בסיס הנתונים orpo-dpo-mix-40k לאורך תקופת אימון אחת. תהליך הסרת מנגנוני הסירוב והבטיחות נוטה לפגוע ביכולות הבסיסיות של מודלים, והאימון הנוסף נועד לפצות בדיוק על הנפילה הזו ולהחזיר את היכולות הלשוניות והאנליטיות.

בבדיקות של Nous המודל הגיע לציון ממוצע של 55.87, מעל Llama-3-8B-Instruct שעומד על 51.34 ו־Hermes 2 Theta שמגיע ל־54.28. הפער בולט במיוחד במבחן TruthfulQA שבו הוא מקבל 59.36 לעומת 51.65 במודל הרשמי של מטא. הנתונים מראים שההתאמה הצליחה לשמור על איכות התשובות בלי מנגנוני הסירוב המובנים.

מתאים ל

  • משחקי תפקידים וכתיבה

    המודל פועל ללא צנזורה ומאפשר לנהל דיאלוגים יצירתיים מבלי שייתקל במחסומי סירוב על תוכן בדיוני.

  • עוזר מקומי ב־LM Studio

    נבדק ישירות בתבניות Llama 3 ורץ בקלות בגרסאות מכווצות על מחשבים אישיים ללא תלות ברשת.

  • מחקר על עקיפת בטיחות

    מתאים לבדיקת התנהגות מודלים כשההגבלות מוסרות לחלוטין לצורך הערכת סיכונים ואבטחת מידע.

איפה זה נופל

הסרת מנגנוני הבטיחות אומרת שהמודל פולט כל תוכן שהמשתמש מבקש ללא מסננים פנימיים. אם אתם בונים מוצר שפונה ללקוחות קצה, כל האחריות על מניעת תוכן רעיל או בעייתי עוברת ישירות לשכבת הקוד שלכם, כי המודל עצמו לא יעצור שום פלט. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, כך שהוא לא יתאים למסמכים ארוכים מאוד.

שאלות
נפוצות

האם המודל יסרב לבקשות של משתמשים?

לא. תהליך ה־abliteration נועד להסיר את כיווני הסירוב של הרשת, והאימון הנוסף החזיר לו את היכולת לענות על שאלות ישירות. הוא ינסה לענות על כל הנחיה שתספקו.

באיזה פורמט כדאי להריץ אותו במחשב אישי?

מומלץ להוריד קובץ GGUF או להשתמש בגרסת ollama של 5 ביט או 8 ביט. זה יאפשר הרצה חלקה ב־LM Studio מבלי לחייב כרטיס מסך עם 24 גיגהבייט זיכרון.

איך מריצים

במשקל מלא של 15 גיגהבייט בפורמט float16 תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון גרפי כדי לטעון אותו ולהשאיר מקום לחלון הקשר של 8,192 טוקנים. הרצה ישירה ב־transformers אפשרית עם ספריית accelerate, אך דורשת משאבים מקומיים כבדים יחסית למפתחים שעובדים מתחנות קצה רגילות.

בפועל קהילת הקוד הפתוח הוציאה למודל גרסאות מכווצות בפורמטים כמו GGUF, EXL2 ו־AWQ, וכן גרסאות 5, 8 ו־16 ביט ל־ollama. אם אתם רוצים להריץ אותו על מעבד רגיל או מחשב מקומי דרך LM Studio, הורדת גרסת GGUF מכווצת תחסוך את רוב דרישות החומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/NeuralDaredevil-8B-abliterated")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא llama3 של מטא. הוא מאפשר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש של מטא שמגבילה מוצרים עם מעל 700 מיליון משתמשים פעילים חודשיים ומחייבת ציון מקור. בנוסף, שימוש בתוצרי המודל לצורך אימון מודלים אחרים מוגבל לתנאי הרישיון המקוריים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗