GPT
הוספת כלי
L

llama-3-70B-Instruct-abliterated

קוד פתוח

failspyllama32024-05-07

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסה מיוחדת של מודל הדגל הפתוח שעברה התערבות במשקולות כדי לצמצם סירובים. מתאים למי שחייב תשובות ישירות ומותש מהטפות המוסר הרגילות.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 8,594הורדות בחודש

מה זה

מדובר בעיבוד ישיר של דגם ההוראות המקורי בגודל שבעים מיליארד פרמטרים. היוצר יישם שיטה מחקרית חדשה שמזהה את כיוון הסירוב ברשת ומנטרלת אותו מתמטית באמצעות אורתוגונליזציה של המשקולות. המטרה היא להשאיר את כל יכולות החשיבה והידע של המקור, אך להחליש משמעותית את הנטייה המובנית שלו לדחות שאלות רגישות.

בניגוד לכוונון עדין רגיל שדורש אימון חוזר על נתונים חדשים, כאן מדובר בשינוי גיאומטרי במשקולות הקיימות. המפרסם מציע גם קובץ וקטור סירוב נפרד וספר הדרכה בפייתון. כך מי שכבר מחזיק את קובצי המקור המקוריים על הדיסק יכול להחיל את השינוי בעצמו בלי להוריד מחדש עשרות ג'יגה בייטים מהרשת.

מתאים ל

  • בדיקות חוסן ומחקר

    בחינת גבולות של מודלי שפה והבנת מנגנוני סירוב ללא חסימות תוכנה מלאכותיות.

  • יצירת תוכן נטול צנזורה

    כתיבה יצירתית או ניתוח טקסטים בעייתיים שגורמים למודלים רגילים לסרב מיד.

  • ניסויי התערבות במשקולות

    בדיקת שיטת האבלציה על מודל גדול באמצעות קובץ הוקטור והמחברת המצורפים.

איפה זה נופל

ההתערבות הזו רחוקה מלהיות מושלמת או צפויה. היוצר מבהיר שהמודל לא נבדק בצורה מקיפה, והסרת כיוון הסירוב עשויה לגרום לתופעות מוזרות או לפגוע באיכות התשובות. אין שום הבטחה שהוא אכן יענה על כל בקשה, ובמקרים מסוימים הוא עדיין עלול להטיף לכם מוסר על בטיחות במקום לענות. לא הייתי מכניס אותו למערכת מבצעית מול לקוחות בלי בדיקה קפדנית של כל תרחישי הקצה.

שאלות
נפוצות

האם המודל יסכים לענות על כל שאלה בלי יוצא מן הכלל?

לא. היוצר מציין במפורש שאין ערובה לכך, והמודל עשוי עדיין לסרב או להטיף על כללי אתיקה.

האם צריך להוריד את כל מאה שלושים ואחד הג'יגה אם המקור כבר אצלי?

לא חובה. אפשר להוריד רק את קובץ הוקטור refusal_dir ולהחיל אותו על הקבצים הקיימים לפי המחברת שבמאגר.

איך מריצים

כדי להריץ קבצי מקור מלאים של מאה שלושים ואחד ג'יגה בייטים בדיוק המקורי, צריך חומרת שרתים כבדה עם לפחות שני כרטיסי שמונים ג'יגה בייט זיכרון גרפי. זה יקר, מורכב לתחזוקה ומיועד בעיקר למי שמפתח תשתית מקומית סגורה.

לשימוש יומיומי במחשב מקומי עדיף לפנות לגרסאות הדחוסות שהיוצר קישר אליהן, שרצות על פחות זיכרון. אם אין לכם כרטיסי מסך חזקים ייעודיים, כל ניסיון הרצה עצמי יהיה איטי מאוד ועדיף לשקול שירותים מרוחקים.

from transformers import pipeline

pipe = pipeline("text-generation", model="failspy/llama-3-70B-Instruct-abliterated")
print(pipe("שלום"))

הקבצים

41 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון llama3 המקורי של מטא. הרישיון מאפשר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש המקובל והמגבלות של מטא. מי שמפיץ מוצר מסחרי חייב לציית לתנאים האלה במלואם.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗