Meta-Llama-3.1-8B-Instruct-abliterated

מה זה

הבסיס כאן הוא מודל 8B מבית מטא, שעבר שינוי ישיר במשקולות כדי להסיר את מנגנוני הסירוב המובנים שלו בלי אימון מחדש. המטרה היא לקבל תשובות ישירות גם בנושאים רגישים שבהם מודלים רגילים זורקים שגיאה או מתנצלים.

במבחני הביצועים של הלידרבורד הוא מציג תמונה מעורבת. במעקב אחרי הוראות מורכבות הוא עומד על 73.29 בבדיקת IFEval, שזה ציון סביר לגודל הזה. מנגד, במשימות היגיון ומדעים קשים הוא מתרסק לגמרי עם 0.89 בלבד ב־GPQA וציון של 6.42 במתמטיקה ברמה 5, כך שלא כדאי לבנות עליו לחישובים או להסברים מדעיים מורכבים.

מתאים ל

• מחקר על מנגנוני בטיחות

  לבדיקת עמידות של מערכות וזיהוי הגבולות שבין מודל מאולף למודל שעבר הסרת חסימות.

• יצירת טקסט ללא סירובים

  כתיבה חופשית שבה מודלים רגילים מסרבים לשתף פעולה בגלל מילות מפתח תמימות.

• בדיקות חוסן פנימיות

  שימוש במודל כגורם מייצר קלטים בעייתיים כדי לבחון מסננים של מוצרים אחרים.

איפה זה נופל

ההסרה של מנגנוני הסירוב משאירה אתכם בלי שום רשת ביטחון. הוא עלול לפלוט תוכן פוגעני או רעיל בלי להתריע, וזה סיכון שחייבים לקחת בחשבון לפני שמחברים אותו לממשק משתמש.

בנוסף, יכולות החשיבה העמוקות שלו חלשות במיוחד, כפי שמראים המבחנים. אם המוצר דורש דיוק עובדתי, מתמטיקה או פתרון בעיות לוגיות מפותל, המודל הזה ייכשל וימציא דברים בביטחון מלא.

אותה משפחה

Meta-Llama-3.1-8B-Instruct-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא עומד על 15 גיגה בפורמט bfloat16, מה שאומר שצריך כרטיס מסך עם לפחות 16 או 24 גיגה זיכרון כדי להחזיק אותו בנוחות דרך transformers. אם רוצים להריץ מקומית על לפטופ או חומרה ביתית צנועה יותר, יש קישורים לגרסאות מקוונטטות כמו GGUF או EXL2 שחוסכות המון זיכרון.

אם אין לכם כרטיס מתאים ואין צורך אמיתי במודל מקומי לא מצונזר, עדיף פשוט להשתמש ב־API מסחרי של מודל גדול יותר, שיעלה פחות בתחזוקה וייתן תוצאות חכמות בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json50.9 KB
• model.safetensors.index.json23.9 KB
• README.md4.4 KB
• .gitattributes1.5 KB
• config.json855 B
• special_tokens_map.json296 B
• generation_config.json194 B

הרישיון

הרישיון הוא llama3.1 של מטא. הוא מאפשר שימוש מסחרי חופשי לרוב הפרויקטים, אלא אם יש לכם מאות מיליוני משתמשים פעילים בחודש. חובה לכלול את תנאי הרישיון המקוריים של מטא בהפצה, והעובדה שנעשה בו שינוי להסרת חסימות לא פוטרת אתכם מתנאי השימוש המקובלים שלהם.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗