MN-DARKEST-UNIVERSE-29B-GGUF

קוד פתוח

DavidAUapache-2.02024-10-31

gguf
mistral nemo
creative
creative writing
fiction writing

מיזוג לא מצונזר של 29 מיליארד פרמטרים שנועד לכתיבה יוצרת אפלה, תיאורים גרפיים ומשחקי תפקידים. הוא נבנה במיוחד למי שמחפש פרוזה חופשית ולא סטרילית.

186 GBמשקל הקבצים
3,954הורדות בחודש
86לייקים

מה זה

הבסיס כאן הוא שרשרת מיזוגים בשיטת DARE-TIES בין כמה גרסאות מכווננות של Mistral Nemo 12B, שהורחבו בעוד 40 שכבות עד לגודל של 29 מיליארד פרמטרים. המטרה המוצהרת של המבנה הזה היא גיוון סגנוני עמוק, החל ממבנה משפטים קצר ועד פסקאות מורכבות שלמות.

הוא מתוכנן לפעול עם חלון הקשר של עד 128 אלף טוקנים, תומך בטמפרטורות גבוהות וחריגות שמגיעות עד 5, ויודע להתמודד עם הנחיות ארוכות ומפורטות. הדגש הוא על כתיבת אימה, מתח וסצנות אקשן מחוספסות, כולל שימוש בשפה בוטה ועגה מותאמת לדמויות.

בניגוד למודלים סטנדרטיים בגודל הזה שנוטים ליישר קו עם תשובות אופטימיות וצפויות, ברירת המחדל כאן היא כתיבה קודרת ונוקשה. כדי להוציא ממנו תוצאה טובה בתרחישי עלילה, היוצר ממליץ לייצר מחדש את הפלט בין פעם לחמש פעמים ולבחור את הגרסה המוצלחת ביותר.

מתאים ל

משחקי תפקידים מורכבים
פועל היטב עם שפה בוטה, מבטאים ועומק עלילתי דרך ממשקים תומכים.
כתיבת סיפורי אימה ומתח
נבנה לתאר סצנות גרפיות, מתח פסיכולוגי ואווירה קודרת בלי לחסום תוכן.
בניית דיאלוגים מותאמים
שומר על אפיון דמויות ייחודי, דיבור מטושטש ועגה ישירה לפי ההנחיה.

איפה זה נופל

המודל מגיע עם נטייה שלילית מובנית חזקה מאוד, והוא מתנהג בצורה בוטה ולא מצונזרת שאינה מתאימה למוצרים שירותיים או לתמיכה. הוא מוגדר רשמית כמודל באנגלית בלבד, כך שאין לצפות לביצועים סבירים בעברית. שימוש בשיטות כמו Context Shift או מניפולציות RoPE עלול להשחית את הפלט לחלוטין ולייצר ג'יבריש. בקוונטים נמוכים במיוחד כמו Q2K נדרש לחתוך את הטמפרטורה לערך של 1 או פחות בגלל פגיעה חריפה ביציבות.

שאלות
נפוצות

למה המודל חוזר על פסקאות שלמות בסוף התשובה?

התופעה הזו קורית כשהגדרת עונש החזרתיות נמוכה מדי. יש להעלות את הערך ל־1.05 לפחות, או להפעיל פרמטר החלקה בממשק הריצה שלכם כדי לייצב את הפלט.

האם המודל יתאים לבוט שירות או למערכת פנימית בחברה?

לא. המודל לא עבר סינון תכנים, הוא משתמש בקללות, מייצר אלימות גרפית ומפגין טון קודר וציני שאינו מתאים לאינטראקציה עסקית.

האם הוא מסוגל לכתוב בעברית?

הכרטיס מגדיר תמיכה בשפה האנגלית בלבד. מודלים מהסוג הזה שעברו הרחבות ומיזוגים מרובים נוטים להישבר לחלוטין בניסיון לייצר שפות אחרות.

איך מריצים

המאגר מכיל קובצי GGUF במשקל כולל של 186 גיגה בייט, עם חלוקה לגרסאות דחיסה שונות כולל גרסאות מותאמות למעבדי ARM. בשביל קוונטיזציה בינונית כמו Q4 תצטרכו כרטיס מסך עם לפחות 24 גיגה בייט זיכרון גרפי, ועדיף מערך של 32 גיגה בייט ומעלה אם אתם רוצים לנצל חלון הקשר סביר בלי לפגוע במהירות הריצה.

תוכנות כמו KoboldCpp או SillyTavern מתאימות כאן מאוד, במיוחד עם תבניות Mistral Instruct או ChatML. המודל דורש הגדרת עונש חזרתיות מדויקת של 1.05 ומעלה כדי למנוע לולאות טקסט בסוף הפלט, או שימוש במנגנון החלקה ייעודי בממשק. אם אין לכם חומרה מקומית חזקה שמחזיקה משקל כזה, שרת ענן ייעודי ייתן מענה הגיוני יותר.

ollama run hf.co/DavidAU/MN-DARKEST-UNIVERSE-29B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_031.0 GB Q6_K23.9 GB Q5_K_M20.7 GB Q5_K_S20.1 GB Q4_K_M17.6 GB Q4_K_S16.7 GB IQ4_XS15.9 GB Q3_K_L15.4 GB Q3_K_M14.2 GB Q3_K_S12.8 GB Q2_K11.0 GB

הקבצים

14 קבצים במאגר, 186 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ ברישיון Apache 2.0. הרישיון מאפשר שימוש מסחרי, שינוי, הפצה ושילוב בקוד סגור, בתנאי ששומרים על הצהרת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗