QuantFactory/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF
קוד פתוחQuantFactoryllama3.12024-07-28
גרסה מכווצת של מודל תפקידים שנבנה על בסיס לאמה שמונה בי, שממנה הוסרו מנגנוני הסירוב הרגילים. מתאים למי שבונה משחקי תפקידים או כתיבה יוצרת ולא רוצה להיתקל בסירובים.
- 67.7 GBמשקל הקבצים
- 6,166הורדות בחודש
- 149לייקים
מה זה
מדובר בהמרה לפורמט GGUF של מודל שעבר התאמה מיוחדת למשחקי תפקידים וכתיבה עלילתית, לצד תהליך אבלציה שמסיר את מנגנון הסירוב של מטא. היוצרים שילבו דאטה סטים מקהילת משחקי התפקידים כמו Lumimaid כדי לתת לו אופי עשיר ותגובות מפורטות מאוד. המודל שומר על הארכיטקטורה הבסיסית של לאמה 3.1 בגודל 8B, כולל תמיכה בהקשר ארוך.
ההבדל המשמעותי לעומת מודל הבסיס של מטא הוא בהתנהגות. בעוד המודל המקורי מודד 69.4 בבנצ'מרק MMLU ומסרב לבקשות שחורגות מגבולות הבטיחות, הגרסה הזו עונה על הכל ללא סירוב ומכוונת לסגנון דרמטי וספרותי. המפרסמים מציינים כיוונון מחדש לשפות כמו סינית, יפנית וקוריאנית, אך מודים בעצמם שהבדיקות בפועל נעשו רק באנגלית.
מתאים ל
- בוטים למשחקי תפקידים
המודל אומן על דאטה סטים ייעודיים לשיחות עלילתיות ולא מסרב להנחיות בעייתיות.
- כתיבה יוצרת וספרותית
מייצר טקסטים ארוכים ומפורטים שנבנו לסגנון סיפורי חופשי.
- בדיקות חוסן ועקיפת הגנות
מצוין למחקר של תגובות מודל ללא מנגנוני בטיחות מקוריים.
איפה זה נופל
הכרטיס מצהיר בפירוש שהיוצרים בדקו את המודל באנגלית בלבד, כך שאין שום הבטחה לגבי איכות העברית או שפות אחרות. מעבר לזה, הכותבים מדגישים כי שגיאות בפלט הן בלתי נמנעות ומחייבות עריכה אנושית. הסרת מנגנוני הסירוב גורמת לכך שאין למודל שום מעצורים מובנים, ולכן לא מומלץ להציג את הפלטים שלו ישירות למשתמשי קצה בלי שכבת סינון נפרדת.
שאלות
נפוצות
האם אפשר לסמוך על המודל לייצור תוכן בעברית?
לא כדאי להסתמך עליו בעברית. המפתח מצהיר במפורש שהבדיקות נערכו באנגלית בלבד. אף על פי שלאמה 3.1 מציגה יכולות רב לשוניות מסוימות, ההתאמות והכימות עשויים לפגוע ביכולת הזו בשפות שאינן נתמכות רשמית.
למה יש 16 קבצים במשקל כולל של 67 גיגה?
המשקל הכולל מייצג את כל רמות הכימות שהועלו למאגר. אתם לא צריכים להוריד את הכל, אלא רק קובץ GGUF בודד שמתאים לנפח הזיכרון בכרטיס המסך שלכם.
איך מריצים
המודל מגיע באוסף של 16 קבצי GGUF במשקל כולל של 67.7 גיגה בייט, שמכילים רמות כימות שונות מבית QuantFactory. כדי להריץ כימות ממוצע כמו Q4 או Q5 מספיק כרטיס מסך ביתי בודד עם 8 עד 12 גיגה זיכרון, או מעבד חזק עם מספיק זיכרון מערכת דרך llama.cpp או LM Studio.
אם אתם צריכים שרת יציב לכמה משתמשים במקביל עם חלון הקשר מלא, שווה לשקול פריסה על שרת ענן ייעודי עם ממשק OpenAI. הרצה מקומית מתאימה בעיקר לבדיקות, פיתוח עצמאי, או יישומי משחק אישיים.
ollama run hf.co/QuantFactory/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
16 קבצים במאגר, 67.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q8_0.gguf8.5 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q6_K.gguf6.6 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q5_1.gguf6.1 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q5_K_M.gguf5.7 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q5_0.gguf5.6 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q5_K_S.gguf5.6 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q4_1.gguf5.1 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q4_K_M.gguf4.9 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q4_K_S.gguf4.7 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q4_0.gguf4.7 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q3_K_L.gguf4.3 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q3_K_M.gguf4.0 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q3_K_S.gguf3.7 GB
- DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored.Q2_K.gguf3.2 GB
- README.md31.9 KB
- .gitattributes2.8 KB
הרישיון
המודל כפוף לרישיון Llama 3.1 Community License של מטא. הרישיון מתיר שימוש מסחרי ומחקרי, ומאפשר להשתמש בפלטים לאימון מודלים אחרים, אך מחייב לעמוד במדיניות השימוש ההוגן של מטא. בנוסף, חברות ענק עם מעל 700 מיליון משתמשים חודשיים נדרשות לבקש רישיון מיוחד.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס