DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF

קוד פתוח

bartowskillama3.12024-08-01

gguf
roleplay
llama3
sillytavern
idol

גרסת קוונטיזציה של מודל פתוח מבוסס לאמה שמסיר חסימות סינון תוכן. מפתחים לוקחים אותו כשהם צריכים תשובות ישירות על נושאים שהמודלים של מטא מסרבים לגעת בהם.

116 GBמשקל הקבצים
13,958הורדות בחודש
48לייקים

מה זה

מדובר בהמרה של המודל של aifeifei798 לפורמט GGUF באמצעות llama.cpp, עם כיול imatrix שנועד לשמור על הדיוק. הבסיס הוא ארכיטקטורת שמונה מיליארד פרמטרים, אבל המטרה העיקרית פה היא ביטול הצנזורה המובנית של מטא. הוא עונה על שאלות והנחיות בלי להחזיר סירובים תאגידיים.

הכרטיס מציע עשרות גרסאות דחיסה, החל ממשקל מלא ועד רמות קיצוץ אגרסיביות. בחלק מהקבצים יש שילוב של משקולות פלט ושיקוע בפורמט Q8_0, כדי למנוע הידרדרות של איכות הטקסט בגרסאות הקטנות. מבחני ביצועים רשמיים לא פורסמו בדף הזה, כך שצריך לבדוק את איכות הפלט בפועל מול המשימה שלכם.

מתאים ל

כתיבה יצירתית ללא הגבלות
יצירת דיאלוגים וסיפורים שלא נחסמים על ידי פילטרים שמרניים של מודלים מסחריים.
מחקר אבטחה וסייבר
בדיקת תרחישי תקיפה וניתוח טקסטים בתחומים שמודלים רגילים מסרבים לנתח.
עוזר מקומי על חומרה צנועה
הרצה מקומית על מחשב נייד חזק דרך קבצים של חמישה גיגה בייט בלבד.

איפה זה נופל

המודל הזה לא כולל עברית ברשימת השפות הרשמית שלו, שמתמקדת באנגלית, גרמנית, צרפתית, ספרדית ועוד כמה שפות בודדות. בנוסף, הסרת הסינון אומרת שאין לו שום מעצורים. אם המוצר שלכם פונה למשתמשי קצה, אתם מקבלים מודל שעלול לפלוט תוכן פוגעני או רעיל בלי שום מנגנון הגנה, כך שכל עבודת הסינון והבטיחות נופלת עליכם.

שאלות
נפוצות

האם המודל מבין וכותב בעברית?

השפה לא מופיעה ברשימת השפות הנתמכות בכרטיס המודל. סביר שהוא מסוגל לקלוט מילים בסיסיות מעצם היותו מבוסס על לאמה, אבל לא הייתי בונה עליו לייצור טקסט קולח או מדויק בעברית.

באיזה קובץ כדאי לבחור מתוך הרשימה?

הקובץ המומלץ לרוב המשתמשים הוא Q4_K_M, שמאזן בין גודל של פחות מחמישה גיגה לאיכות טובה. אם יש לכם כרטיס עם שנים עשר גיגה זיכרון פנוי, אפשר לעלות לגרסת Q6_K_L בלי לאבד כמעט דיוק.

איך מריצים

אתם יכולים לטעון את הקבצים ישירות בתוכנות כמו LM Studio או דרך llama.cpp. גרסת ברירת המחדל, Q4_K_M, שוקלת 4.92 גיגה בייט ותרוץ בלי בעיה על כרטיס מסך עם שמונה גיגה זיכרון. אם יש לכם פחות מזה, גרסאות ה־I-quants החדשות כמו IQ3_M חוסכות מקום, אבל דורשות תמיכה מתאימה כדי לא לזחול על המעבד.

מי שאין לו כרטיס ייעודי סביר ומחפש מהירות גבוהה יתקשה לקבל כאן זמני תגובה טובים. במצב כזה, פנייה לתשתית ענן או שרת שמריץ את המשקולות הגולמיות תיתן מענה הגיוני יותר.

ollama run hf.co/bartowski/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

23 קבצים במאגר, 116 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא llama3.1 של מטא. מותר להשתמש בו לצרכים פנימיים ומסחריים, כל עוד המוצר שלכם לא עובר שבע מאות מיליון משתמשים פעילים בחודש. אם אתם בונים שירות סביבו, חובה לשמור על תנאי השימוש המקוריים של המשפחה הזו.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗