GPT
הוספת כלי
L

Llama-3.3-70B-Instruct-abliterated

קוד פתוח

huihui-aillama3.32024-12-11

  • transformers
  • safetensors
  • llama
  • text-generation
  • facebook

גרסה נטולת סינונים של לאמה 70B שנבנתה כדי לענות על כל שאלה בלי לחסום אתכם. היא מתאימה למי שנתקל בסירובים עקשניים במודל המקורי ומוכן להריץ משקל כבד.

  • 71Bפרמטרים
  • 131,072טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 4,646הורדות בחודש

מה זה

מדובר במודל שמבוסס ישירות על Llama-3.3-70B-Instruct של מטא, שעבר תהליך של הסרת סירובים באמצעות טכניקת abliteration. המטרה כאן ממוקדת מאוד, לקחת את היכולות המקוריות של המודל הגדול של מטא אבל לנטרל את מנגנוני הבטיחות שגורמים לו לענות שהוא לא יכול לעזור בנושאים רגישים. המפתח מציין במפורש שמדובר במימוש בסיסי לצורך הוכחת היתכנות, בלי להשתמש בספריית TransformerLens.

בגודל של 70 מיליארד פרמטרים, המודל מחזיק באותה ארכיטקטורה עם 80 שכבות וחלון הקשר של 131,072 טוקנים. השפות הרשמיות שנתמכות כוללות אנגלית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית, תאילנדית וגרמנית, כך שעברית אינה מופיעה ברשימת השפות המוגדרות. אין בכרטיס מבחני ביצועים מספריים שמשווים אותו למקור, כך שאין הבטחה לגבי שינוי באיכות התוכן עצמו מעבר לביטול הסירוב המובנה.

מתאים ל

  • בדיקות חוסן ומחקר אבטחה

    מתאים לבחינת תרחישי תקיפה ובדיקת עמידות של יישומים, כשהמודל לא מסרב להפיק פלטים קיצוניים.

  • כתיבה יצירתית ללא סינון

    מספק מענה לטקסטים ספרותיים מורכבים או בוטים שמודלים מסחריים רגילים נוטים לחסום מיד.

  • עיבוד טקסטים רגישים באופליין

    טוב לניתוח מסמכים פנימיים בנושאים שנויים במחלוקת בלי תלות בצנזורה של ספקי שירות חיצוניים.

איפה זה נופל

המפתח עצמו מגדיר את הפרויקט כהוכחת היתכנות גולמית. ההנחיה שלו למקרה שלא מקבלים את התוצאה הרצויה היא פשוט לנסות לשאול שוב את אותה שאלה, מה שמעיד על חוסר יציבות בתשובות. מעבר לזה, תהליך הסרת המחסומים עלול לפגוע ביכולות ההיגיון הכלליות של המודל, ועברית אינה ברשימת השפות הנתמכות, כך שהיא עשויה לתפקד בצורה חלשה או מקוטעת.

שאלות
נפוצות

האם המודל יסרב לפעמים לבקשות?

בתיאוריה רוב הסירובים נוטרלו, אבל המפתח מדגיש שמדובר במימוש גולמי. אם המודל נתקע או מחזיר סירוב, ההנחיה הרשמית היא פשוט לשלוח את הבקשה שוב.

האם הוא מבין ועונה בעברית?

עברית אינה מופיעה ברשימת השפות הרשמיות של המודל, הכוללת בעיקר שפות אירופיות, הינדי ותאילנדית. הוא כנראה יבין עברית בסיסית בזכות אימון הבסיס של מטא, אבל איכות הניסוח תהיה נמוכה בהרבה מאנגלית.

איך מריצים

כדי להריץ אותו במשקל המקורי בפורמט bfloat16 תצטרכו להוריד 131 גיגה בייט המחולקים ל־40 קבצים, מה שמחייב לפחות שני כרטיסי מסך חזקים עם 80 גיגה זיכרון וידאו כל אחד, או קוונטיזציה אגרסיבית. המפתח מספק פקודה ישירה להרצה קלה יותר דרך ollama עם התג huihui_ai/llama3.3-abliterated, או בקוד פייתון רגיל עם ספריית transformers גרסה 4.43.0 ומעלה תוך שימוש ב־pipeline של יצירת טקסט.

אם אין לכם שרת ייעודי עם מספיק זיכרון וידאו פנוי, הניסיון להריץ אותו באופן מקומי פשוט יקרוס. במצב כזה, עדיף בהרבה להשתמש ב־API של שירותי ענן שמארחים את המודל המקורי, אלא אם כן אתם חייבים דווקא את הגרסה נטולת הסינונים למחקר פנימי.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/Llama-3.3-70B-Instruct-abliterated")
print(pipe("שלום"))

הקבצים

40 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משתמש ברישיון של llama3.3. הרישיון הזה מתיר שימוש מסחרי ומחקרי בכפוף לתנאים של מטא, הכוללים מגבלת משתמשים חודשית עצומה וחובת עמידה במדיניות השימוש שלהם. אם אתם מתכננים לשלב אותו במוצר, קחו בחשבון שהסרת מנגנוני הבטיחות לא פוטרת אתכם מהתנאים המשפטיים שהוגדרו במקור.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗