Meta-Llama-3-8B-Instruct-abliterated-v3

מה זה

הבסיס כאן הוא מודל השיחה המוכר של מטא, אבל המשקולות שלו עברו מניפולציה מתמטית ישירה. במקום לאמן את המודל מחדש על דאטה ייעודי כדי לעקוף את מנגנוני הבטיחות, היוצר זיהה את הכיוונים שמייצגים סירוב בתוך שכבות הרשת וביטל אותם. השיטה הזו שומרת על היכולות הכלליות ועל חלון של 8,192 טוקנים, בלי להרוס את חדות התשובות כמו שקורה לפעמים בכוונון רגיל.

גרסה שלוש מביאה שיפור בשיטה לעומת גרסה שתיים הקודמת של היוצר, ולפי הדיווח שלו היא מייצרת פחות הזיות. המודל מתנהג כמעט בדיוק כמו המקור בכל משימת טקסט, אבל מתעלם מההנחיות הפנימיות שמורות לו לסרב לבקשות שלכם.

מתאים ל

• מחקר על מנגנוני בטיחות

  בדיקת ההשפעה של נטרול סירובים ברמת המשקולות על איכות הפלט וההזיות של המודל.

• כתיבה יצירתית ללא חסימות

  יצירת תוכן חופשי ועלילות מורכבות שמודלים רגילים מסרבים לפתח בגלל מדיניות נוקשה.

• איסוף נתונים לתרחישי קצה

  בניית סימולציות ומענה לשאלות בנושאים רגישים שהמקור סוגר מיד בלי לספק מידע.

איפה זה נופל

ההתערבות במשקולות לא מבטיחה שהמודל לעולם לא יסרב, והיוצר מבהיר שהוא עדיין עלול לסרב לבקשות מסוימות או להתחיל להטיף מוסר בתשובה. מעבר לזה, השיטה הזו חדשה לחלוטין ועלולה להכניס התנהגויות מוזרות ולא צפויות שהיוצר עצמו מבקש מהקהילה לדווח עליהן. אסור להכניס אותו למערכת מבצעית בלי לבדוק איך השינוי במשקלים השפיע על ההזיות במשימה הספציפית שלכם.

אותה משפחה

Meta-Llama-3-8B-Instruct-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 15 גיגה בייט בפורמט של 16 ביט, כך שצריך כרטיס מסך שמסוגל להחזיק את כל הנפח הזה בזיכרון שלו יחד עם הטוקנים שנוצרים בזמן הריצה. טוענים אותו ישירות דרך ספריית הטרנספורמרס ומריצים מקומית ללא תלות ברשת.

אם אין לכם כרטיס עם מספיק זיכרון ייעודי, תצטרכו להשתמש בגרסה שעברה הפחתת דיוק או לשכור שרת ענן לפי שעה. פנייה לשירות ענן חיצוני עדיפה אם אתם לא רוצים להחזיק חומרה דולקת בשביל כמה שאילתות ביום, אבל כל הרעיון במודל לא מצונזר הוא שליטה מלאה בשרת שלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="failspy/Meta-Llama-3-8B-Instruct-abliterated-v3")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.0 KB
• model.safetensors.index.json23.9 KB
• README.md4.7 KB
• .gitattributes1.5 KB
• config.json707 B
• generation_config.json187 B
• special_tokens_map.json73 B

הרישיון

הרישיון הוא רישיון מטא המקורי לגרסה שלוש. מותר להשתמש בו במוצרים מסחריים כל עוד עומדים בתנאי השימוש וההפצה המקוריים שהחברה הגדירה, למרות השינוי שבוצע במשקולות על ידי צד שלישי.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗