GPT
הוספת כלי
L

Llama-3.1-8B-Lexi-Uncensored-V2

קוד פתוח

Orengutengllama3.12024-08-09

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסה נטולת סינון של לאמה 8B שמבצעת הוראות בלי לחסום בקשות. מי שמוריד אותו מחפש מודל צייתן שלא מתחסד או מסרב.

  • 8Bפרמטרים
  • 131,072טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 13,354הורדות בחודש

מה זה

מדובר בכוונון עדין של לאמה 3.1 בהיקף 8 מיליארד פרמטרים, שמטרתו העיקרית היא להיפטר ממנגנוני הסירוב המובנים של מטא. הוא אמור לענות כמעט על כל הנחיה, כולל בקשות שנויות במחלוקת או כאלה שמודלים רגילים מסרבים לגעת בהן מיד. היוצר מכוון לשימוש בהנחיית מערכת ספציפית של חשיבה שלב אחר שלב כדי לקבל תשובות הגיוניות, או אפילו נקודה בודדת כהנחיה כדי להוציא ממנו ציות מרבי.

במבחני הביצועים של הלוח הפתוח הוא קיבל ציון ממוצע של 27.93, מה שמראה בבירור את הפשרה שנעשתה כאן. בציות להוראות פורמט כמו בבדיקת IFEval הוא עומד יפה על 77.92, אבל במשימות של חשיבה כבדה או מדע הוא חלש מאוד. בבדיקת GPQA הוא מוציא רק 4.36 ובמתמטיקה ברמה חמש רק 16.92, כך שאי אפשר לצפות ממנו לפתור בעיות מורכבות במדויק.

מתאים ל

  • כתיבה יצירתית ללא חסימות

    מתאים לסיפורים ותכנים למבוגרים שנתקלים בסירובים אוטומטיים במודלים מסחריים רגילים.

  • בדיקות חוסן ואבטחה

    טוב לבדיקת מערכות הגנה וסינון חיצוניות שצריכות להתמודד עם פלטים קיצוניים.

  • עוזר מקומי צייתן

    עונה על פקודות ישירות בלי להטיף מוסר, כל עוד לא דורשים ממנו חישובים מסובכים.

איפה זה נופל

הבעיה הבולטת ביותר היא הוויתור על אינטליגנציה לטובת חוסר סינון. תוצאות נמוכות להחריד במבחני מתמטיקה ומדע מראות שהוא נוטה להזיות כשהשאלות נהיות קשות או עמוקות. בנוסף, הוא מציית לכל דבר, כולל בקשות מזיקות או בעייתיות אתית. אם תחשפו אותו ישירות למשתמשי קצה בלי שכבת סינון שאתם בונים לבד, אתם אחראים לכל פלט מסוכן שייצא ממנו. גם היציבות שלו תלויה בפורמט המשקלים, כאשר כימות פופולרי שובר לו את האופי ומחזיר סירובים.

אותה משפחה

Llama-3.1-8B-Lexi-Uncensored יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Llama-3.1-8B-Lexi-Uncensored-V2-GGUF8,204 Llama-3.1-8B-Lexi-Uncensored52

שאלות
נפוצות

אפשר להריץ אותו בגרסת 4 ביט על מחשב ביתי?

עדיף שלא. היוצר מזהיר שבכימות Q4 המודל חוזר לסרב לפקודות ומאבד מחלק מהכוונון. אם החומרה שלכם מוגבלת, עדיף לנסות Q8 או להריץ במשקל מלא על כרטיס מתאים.

האם הוא מתאים למוצר שפונה לקהל הרחב?

רק אם אתם מוסיפים שכבת הגנה משלכם לפני שהפלט מגיע למשתמש. המודל יענה על כל בקשה בלי גבולות פנימיים, מה שעלול לחשוף את המוצר לבעיות חוקיות או תוכן פוגעני.

איך מריצים

המשקל המקורי של הקבצים בפורמט bfloat16 מגיע לכ־15 גיגהבייט. כדי להריץ אותו בלי שום כימות צריך כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון גרפי, תלוי בגודל חלון ההקשר שאתם מנצלים בפועל מתוך 131 אלף הטוקנים הנתמכים.

אם אתם מתכננים לכווץ אותו לכימות נמוך, שימו לב לאזהרה של המפתח. בגרסת Q4 מתגלים שוב סירובים בגלל איבוד המידע בתהליך, ולכן ההמלצה היא להישאר ב־F16 או לרדת לכל היותר ל־Q8. חובה לשמור על תבנית הפרומפט המקורית של לאמה 3.1 אינסטרקט, כולל טוקנים של הודעת מערכת, גם אם היא ריקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון הקהילה של לאמה 3.1 של מטא. הרישיון מתיר שימוש מסחרי ומחקר כל עוד עומדים בתנאים של מטא, והיוצר מאשר שימוש כזה במפורש. עם זאת, היוצר מבהיר שהאחריות על כל תוכן שנוצר מוטלת עליכם בלבד.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗