Mistral-MOE-4X7B-Dark-MultiVerse-Uncensored-Enhanced32-24B-gguf

קוד פתוח

DavidAUapache-2.02024-12-26

gguf
mixture of experts
moe
mistral
mixtral

שילוב של ארבעה מודלי Mistral 7B לארכיטקטורת מומחים אחת בגודל 24B, שנועד לכתיבה יוצרת ללא צנזורה. מי שמחפש פרוזה חופשית ואינטנסיבית באנגלית ימצא כאן מענה שלא נחסם על תכנים קשים.

283 GBמשקל הקבצים
11,666הורדות בחודש
149לייקים

מה זה

הבסיס הוא איחוד מומחים שנבנה בעזרת mergekit מארבעה מודלים שונים, בהם DarkSapling ו־multi_verse_model, במטרה לייצר שפה עשירה ודיאלוגים מורכבים. המודל שומר על חלון הקשר של 32,768 טוקנים ומפיק סגנון ישיר שנמנע מקלישאות ומפטפוט מיותר. הוא נשען על דיוק מקור של float 32 כדי לשמר יכולת מעקב אחרי הוראות גם לאחר דחיסה.

המבנה מאפשר להפעיל בין מומחה אחד לארבעה בו זמנית, כאשר ברמת ברירת המחדל עובדים שניים. הכרטיס מדווח על רמת פרפלקסיטי נמוכה מזו של Llama 3 Instruct, מה שמעיד על חיזוי טקסט מדויק ויציב. למרות שהמודל מתמודד עם משימות כלליות, אופי האימון מושך אותו לכיוון נרטיבי מחוספס עם נטייה לטון כהה, אימה ותיאורים גרפיים.

מתאים ל

כתיבת סיפורי אימה ומתח
מייצר תיאורים גרפיים עמוקים וקצב עלילתי מהיר ללא חסימות על תכנים אפלים.
משחקי תפקידים ללא מגבלות
עוקב היטב אחרי הנחיות דמות ומגיב בטבעיות בדיאלוגים מורכבים.
פיתוח סצנות מורכבות
מתמודד עם טמפרטורה גבוהה ומציע רעיונות עלילתיים חריגים בלי ליפול לניסוחים גנריים.

איפה זה נופל

המודל פותח ללא מנגנוני סינון, ולכן הוא מייצר תכנים אלימים, שפה בוטה ואימה גרפית בקלות רבה וללא בלמים. הוא לא יתאים למערכות שירות לקוחות, לאפליקציות ארגוניות או למוצרים שדורשים בטיחות מידע ותשובות סטריליות. המפתחים מציינים גם חוסר עקביות בין ריצות, שנובע מבחירת מומחים שונה בכל פעם, כך שלעיתים נדרשות שתיים עד ארבע הפקות מחדש של אותה פקודה כדי להגיע לתוצאה טובה. מעבר לכך, התמיכה המוצהרת היא באנגלית בלבד, ואין לצפות ממנו להבנה אמינה בעברית.

שאלות
נפוצות

האם המודל מתאים לשימוש באפליקציה עסקית או כבוט לתמיכה?

לא. המודל לא מצונזר כלל ונוטה לתכנים אפלים וגרפיים, מה שיוביל לתשובות בלתי הולמות מול לקוחות. הוא מיועד לכתיבה יוצרת בלבד.

איך אפשר לשלוט על מהירות התגובה ואיכות הפלט?

אפשר להגדיר את מספר המומחים הפעילים בתוכנת ההרצה בין אחד לארבעה. בחירה בפחות מומחים תאיץ את יצירת הטקסט אך עשויה לפגוע באיכות הניסוח.

האם אפשר להשתמש בו לטקסטים בעברית?

כרטיס המודל מגדיר אנגלית כשפה נתמכת בלבד. הוא לא אומן על עברית ויפיק פלט משובש, מקוטע או חסר משמעות בשפה זו.

איך מריצים

המודל מופץ כקבצי GGUF ומיועד להרצה מקומית בכלים כמו KoboldCPP, LM Studio או llama.cpp. כדי להריץ את גרסאות ה־Q4 או ה־IQ4 תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט VRAM, בהתאם למספר השכבות שתזרקו לזיכרון. גרסאות ה־MAX-CPU משאירות את טנסורי הפלט במעבד כדי לחסוך זיכרון גרפי, אך הדבר מאט את קצב יצירת הטוקנים.

קצב הייצור מושפע ישירות מכמות המומחים הפעילים. הפעלה של כל ארבעת המומחים תיתן פלט איכותי יותר, אך תדרוש יותר כוח חישוב בכל צעד ותוריד מהירות. אם אין לכם חומרה ייעודית מקומית עם זיכרון מהיר, קריאה לשרת מרוחק עדיפה על ניסיון להריץ אותו על מעבד רגיל.

ollama run hf.co/DavidAU/Mistral-MOE-4X7B-Dark-MultiVerse-Uncensored-Enhanced32-24B-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_026.4 GB Q8_025.9 GB Q8_025.7 GB Q6_K20.7 GB Q6_K20.1 GB Q6_K19.9 GB Q5_K_M17.2 GB Q5_K_S16.7 GB Q4_K_M14.7 GB IQ4_XS13.9 GB Q4_K_S13.8 GB IQ4_XS13.4 GB IQ4_XS13.1 GB Q3_K_L12.6 GB Q3_K_M11.6 GB Q3_K_S10.5 GB Q2_K9.7 GB Q2_K9.2 GB Q2_K8.9 GB

הקבצים

22 קבצים במאגר, 283 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי קוד והפצה מחדש של הקבצים, בתנאי ששומרים על הודעות זכויות היוצרים וההצהרות המקוריות. עם זאת, יש לוודא שהשימוש בפלט לא חורג מתנאי הרישיונות של ארבעת מודלי המקור שמהם הוא הורכב.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗