GPT
L

Llama-3-8B-Lexi-Uncensored

קוד פתוח

Orengutengllama32024-04-23

  • transformers
  • safetensors
  • llama
  • text-generation
  • uncensored

גרסה לא מצונזרת של מודל שמונה מיליארד פרמטרים, שמיועדת למי שצריך ציות מוחלט להנחיות. הוא עונה על כל בקשה בלי לחסום או להטיף מוסר.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 16.5 GBמשקל הקבצים
  • 1,094הורדות בחודש

מה זה

מדובר בהתאמה שמבוססת על Llama-3-8b-Instruct, אבל הסירו ממנה את מנגנוני הסינון והבטיחות המקוריים. המטרה המרכזית פה היא ציות. המודל יענה על שאלות וימלא משימות שגרסאות רשמיות מסרבות לגעת בהן, בלי להתחמק ובלי להרצות לכם על ערכים.

במבחני הביצועים של הלוח הפתוח הוא מציג ממוצע של 66.18 נקודות, שזה נתון מוכר לקטגוריה של שמונה מיליארד. במבחני הבנת שפה כמו HellaSwag עם 77.88 ו־Winogrande עם 75.85 הוא מתפקד יפה מאוד. מנגד, במבחן TruthfulQA הוא עומד על 47.72 בלבד, שזה ציון נמוך שמעיד על נטייה ברורה לפלוט שטויות כשמאתגרים אותו, בדיוק מה שקורה כשמסירים שכבות ריסון.

מתאים ל

  • כתיבה יצירתית ללא סינון

    מתאים לסיפורים ותסריטים עם קונפליקטים או נושאים בוגרים שמודלים רגילים מסרבים לכתוב.

  • עוזר מחקר בנושאים רגישים

    עונה ישירות על שאלות בתחומי אבטחה או היסטוריה בלי לחסום מילים מראש.

  • עיבוד טקסט גולמי

    מנתח ומסכם טקסטים קשים או בוטים בלי לעצור באמצע בגלל מילות מפתח בעייתיות.

איפה זה נופל

הסרת הצנזורה הופכת אותו למסוכן בכל מה שקשור לתוכן לא מבוקר. היוצר מזהיר במפורש שהמודל ישתף פעולה עם כל בקשה, כולל פניות לא אתיות, ולכן חובה לבנות שכבת סינון משלכם לפני שחושפים אותו למשתמשי קצה. בנוסף, חלון ההקשר עומד על 8,192 טוקנים, כך שהוא לא בנוי למסמכים כבדים או ספרים שלמים. ציון ה־TruthfulQA הנמוך דורש בדיקה קפדנית של התשובות שלו, כי הוא פשוט ימציא דברים בביטחון מלא.

אותה משפחה

Llama-3-8B-Lexi-Uncensored יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות מול לקוחות באפליקציה?

לא מומלץ בכלל בלי שכבת הגנה חיצונית. המודל יענה על הכל, כולל תוכן פוגעני או מטעה, והיוצר מבהיר שהאחריות על התוצאות היא עליכם בלבד.

איזה כרטיס מסך מינימלי צריך כדי להריץ אותו בלי קוונטיזציה?

הקבצים שוקלים 16.5 ג'יגה בייט, אז תצטרכו כרטיס עם לפחות 24 ג'יגה זיכרון וידאו כמו RTX 3090 או כרטיס שרת מקביל. בזיכרון נמוך מזה תהיו חייבים לכווץ אותו לפורמט קל יותר.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־16.5 ג'יגה בייט בפורמט bfloat16. כדי להריץ אותו מקומית בספריית transformers תצטרכו כרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון וידאו, אלא אם אתם מכווצים אותו בקוונטיזציה לחומרה ביתית צנועה יותר.

אם אין לכם שרת ייעודי עם כרטיס מתאים ואתם צריכים רק בדיקות מזדמנות, עדיף להרים מופע ענן לפי שעה או לצרוך אותו דרך תשתית חיצונית. אין סיבה להחזיק ברזלים יקרים אם נפח העבודה שלכם לא מצדיק את זה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Orenguteng/Llama-3-8B-Lexi-Uncensored")
print(pipe("שלום"))

הרישיון

הרישיון הוא רישיון הקהילה של Meta Llama 3, והיוצר מאשר שימוש מסחרי כל עוד אתם עומדים בתנאים של מטא. אתם נושאים באחריות מלאה לכל תוכן שנוצר דרכו, ואם המוצר שלכם יגיע להיקפי משתמשים ענקיים לפי הגדרות הרישיון המקורי, תצטרכו לבדוק את המגבלות של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗