L3-Stheno-Maid-Blackroot-Grand-HORROR-16B-GGUF

קוד פתוח

DavidAUapache-2.02024-07-03

gguf
creative
creative writing
fiction writing
plot generation

שילוב אגרסיבי של שלושה מודלי שמונה מיליארד שהורחב ל־16.5 מיליארד פרמטרים. הוא מיועד למי שמחפש כתיבת אימה ומשחקי תפקידים ללא שום צנזורה או מעצורים מוסריים.

124 GBמשקל הקבצים
2,542הורדות בחודש
100לייקים

מה זה

הבסיס כאן הוא מיזוג של שלושה מודלים שונים, בהם Stheno ו־Lumimaid, שנפרסו מחדש במבנה שכבות מורחב של 71 שכבות במקום ה־32 המקוריות. התהליך הזה יצר מודל עם הטיה כבדה לכתיבה גרפית, תיאורי גופות ואלימות, קללות ושפה בוטה במיוחד, כשהוא מנקה כמעט לחלוטין את הנטייה המוכרת של מודלים מסחריים לחנך את המשתמש או לחתור לסוף טוב.

בגודל הזה של סביב 16 מיליארד פרמטרים קשה למצוא מודלים שמסוגלים לייצר טקסט עלילתי צפוף בפרטים חושיים בלי לקרוס לקלישאות בטיחות. המודל שומר על קצב דרמטי מותח ומגיב חזק לניואנסים בפרומפטים של משחקי תפקידים, אבל דוחף כמעט כל תרחיש לכיוון אפל ומטריד, גם אם לא ביקשתם את זה במפורש.

מתאים ל

משחקי תפקידים בעולמות אפלים
הוא מחזיק דמויות מורכבות ללא צנזורה ומגיב היטב לשיחות מרובות תורות בסביבות אימה.
כתיבת סיפורי אימה גרפיים
מייצר תיאורים מוחשיים ועמוסי פרטים חושיים של אסונות ומתח בלי מעצורי בטיחות מלאכותיים.
פיתוח סצנות אלימות לעלילה
בונה קטעי אקשן קיצוניים עם דגש על פציעות, ריחות והרס שספקי ענן חוסמים מיידית.

איפה זה נופל

המודל נוטה לרוץ חם מדי. המשמעות היא לולאות חזרתיות על מילים בוטות, צעקות או אותיות בודדות אם לא מגדירים את מקדמי הענישה בדיוק לפי המדריך. מעבר לזה, חלון ההקשר הטבעי עומד על 8k בלבד, ודחיפה שלו ל־32k דורשת משחק עם הגדרות RoPE שעלול לפגוע באיכות. הכרטיס מודה מראש: אם יש בעלילה פתח קטן לאסון, המודל ישמיד הכל, מה שהופך אותו ללא שמיש למשימות שדורשות איזון, כתיבה מקצועית או תכנים יומיומיים.

שאלות
נפוצות

האם המודל יודע לייצר טקסטים בעברית?

המודל מוגדר ומאומן באנגלית בלבד. אם תפנו אליו בעברית תקבלו תוצאות עילגות, קטועות או חסרות משמעות לחלוטין. הוא אינו מתאים למיזמים שדורשים פלט בעברית.

מה לעשות אם המודל נתקע וחוזר על מילים כמו צרחות וקללות?

הכרטיס ממליץ להעלות את ה־repeat penalty לרמה של 1.15 או יותר, להוריד את הטמפרטורה לאזור 0.6, ולהשתמש במנגנון החלקה כמו Smoothing Factor ברמה של 1.5 עד 2.5 בתוכנת ההרצה שלכם.

איך מריצים

כדי להריץ אותו מקומית צריך מנוע שתומך בפורמט GGUF, כמו KoboldCpp או טקסט ג'נריישן ווב יו איי. קובץ קוונטיזציה טיפוסי כמו Q4 ידרוש כרטיס מסך עם לפחות 12 גיגה זיכרון כדי לרוץ כולו על החומרה, או כרטיס של 16 גיגה ומעלה אם אתם רוצים להחזיק הקשר מלא.

היוצר ממליץ במפורש להגדיר repeat penalty ברמה של 1.1 עד 1.19, לצד מיתון הטמפרטורה לאזור 0.6. אם אתם צריכים רק גישה מדי פעם לכתיבה כזו, חבל להשקיע בחומרה ייעודית, אבל לשימוש רציף במשחקי תפקידים פרטיים הרצה מקומית היא הדרך היחידה לעקוף פילטרים של שירותי ענן.

ollama run hf.co/DavidAU/L3-Stheno-Maid-Blackroot-Grand-HORROR-16B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_017.6 GB Q6_K13.6 GB Q5_K_M11.7 GB Q5_K_S11.4 GB Q4_K_M10.0 GB Q4_K_S9.5 GB Q4_0_4_49.4 GB Q4_0_4_89.4 GB Q4_0_8_89.4 GB IQ4_XS9.1 GB Q3_K_M8.1 GB Q3_K_S7.3 GB Q2_K6.3 GB

הקבצים

16 קבצים במאגר, 124 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ עותקים שלו כמעט ללא הגבלה, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים את נוסח הרישיון המקורי. מתאים למי שרוצה לשלב אותו במערכת מקומית או לשווק מוצר שמבוסס עליו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗