L3-Dark-Planet-8B-GGUF

קוד פתוח

DavidAUapache-2.02024-09-02

gguf
creative
creative writing
fiction writing
plot generation

מיזוג של מודלי Llama 3 8B שמכוון ספציפית לכתיבת פרוזה אפלה, אימה ומשחקי תפקידים ללא צנזורה. אם חיפשתם טקסט שלא נרתע מתיאורים גרפיים וסופים רעים, הגעתם למקום הנכון.

95.8 GBמשקל הקבצים
3,363הורדות בחודש
57לייקים

מה זה

הבסיס כאן הוא מיזוג של שלושה מודלים קהילתיים מוכרים בתחום התוכן הלא מצונזר: Stheno, Lumimaid ו־Jamet Blackroot. התוצאה היא מודל שמכוון ישירות לכתיבה יצירתית עם הטיה מובהקת לטון שלילי, קודר ואלים, במקום הנימוס והסופים השמחים שמגיעים בדרך כלל עם גרסאות הבסיס של מטא. בכרטיס המודל מדווח על מדד perplexity נמוך משמעותית מ־Llama 3 Instruct הרגיל, מה שאומר שבפועל הוא אמור להפיק משפטים קוהרנטיים וצפויים יותר מבחינה לשונית, בלי לקפוץ בין נושאים.

המודל מגיע עם גמישות יוצאת דופן להגדרות טמפרטורה, ונבדק אפילו בערכים חריגים כמו 2 עד 5 בלי להתרסק לג'יבריש. בנוסף הוא כולל פחות חזרות על קלישאות טיפוסיות של GPT, אם כי היוצר מודה שחלקן עדיין נשארו שם בפנים.

מתאים ל

משחקי תפקידים ללא צנזורה
מתאים לבוטים אינטראקטיביים בעולמות אפלים שלא מסרבים לבקשות עלילתיות קשות.
כתיבת סיפורי אימה ומתח
מייצר סצנות עתירות תיאורים גרפיים של אלימות, פאניקה ומתח בלי התחסדות.
הרצה על חומרה ביתית חלשה
גרסאות ה־MAX-CPU מאפשרות להפעיל אותו מקומית אפילו על מחשבים עם כרטיסי מסך של 4GB.

איפה זה נופל

זה לחלוטין לא כלי לעבודה משרדית, קוד או סיכום מסמכים. יש לו נטייה מובנית לתוכן פסימי, אלים ואפל, כך שהוא לא מתאים לשום אינטראקציה עם לקוחות או למערכות תמיכה. הוא נוטה לייצר תשובות קצרות יחסית כברירת מחדל אלא אם מגדירים לו במפורש אורך רצוי, וטמפרטורה גבוהה מדי פוגעת ביכולת שלו לעקוב אחרי הוראות מדויקות. חלון ההקשר מוגבל ל־8192 טוקנים בלבד, והרחבה שלו ל־32k באמצעות RoPE דורשת התעסקות עם הגדרות טמפרטורה והוראות מפורטות כדי לפצות על ירידה באיכות. בנוסף, הוא נשען על תבנית Llama 3 או Command-R, והזנה של תבנית לא נכונה תהרוס את הפלט.

שאלות
נפוצות

האם המודל מדבר או מייצר טקסט בעברית?

המודל אומן והוגדר רשמית עבור אנגלית בלבד. כמו רוב המודלים מבוססי Llama 3 הוא עשוי להבין מעט עברית, אבל איכות הפלט, התחביר והיכולות היצירתיות שלו מוגבלות לאנגלית.

למה התשובות שהוא מחזיר קצרות כל כך?

המודל מכוון מראש לתשובות תמציתיות. כדי לקבל פסקאות ארוכות יותר, אתם חייבים לדרוש במפורש בפרומפט אורך מוגדר, למשל פקודה לפתוח סצנה באורך אלף מילים.

איך להימנע מחזרות מעצבנות על מילים ומשפטים?

היוצר ממליץ לקבוע את ה־Repetition Penalty לערך של 1.05 לפחות, או להפעיל בממשק ההרצה שלכם Quadratic Sampling עם smoothing factor בין 1.5 ל־2.5.

איך מריצים

בגלל שמדובר בפורמט GGUF, אפשר להריץ אותו מקומית על כמעט כל מנוע סטנדרטי כמו KoboldCpp, Text-Generation-Webui או ספריות מבוססות llama.cpp. גרסאות הקוונטיזציה כאן מגוונות מאוד. בגרסאות ה־MAX-CPU, למשל ב־Q2_K, אפשר לטעון 2004 מגה־בייט לזיכרון ה־RAM הרגיל של המעבד ורק 2449 מגה־בייט לכרטיס המסך, מה שמאפשר להריץ אותו אפילו על כרטיסים ישנים עם 4GB VRAM. ב־Q8_0 התובעני יותר תצטרכו קצת מעל 7GB ב־VRAM לצד 2GB ב־RAM.

אם יש לכם כרטיס סביר, אין שום סיבה לשלם על API חיצוני בשביל מודל 8B, במיוחד כשהמטרה של המודל הזה היא תוכן פרטי לחלוטין שאף ספק ענן לא יאשר לכם להעביר אצלו בשרתים.

ollama run hf.co/DavidAU/L3-Dark-Planet-8B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_09.5 GB Q8_09.5 GB Q8_08.5 GB Q6_K7.8 GB Q6_K7.8 GB Q5_K_M5.9 GB IQ4_XS5.9 GB IQ4_XS5.9 GB Q5_K_S5.8 GB Q4_K_M5.1 GB IQ4_XS4.9 GB Q4_K_S4.9 GB Q2_K4.7 GB Q3_K_L4.5 GB Q3_K_M4.2 GB Q3_K_S3.9 GB Q2_K3.4 GB Q6_K566.0 MB

הקבצים

21 קבצים במאגר, 95.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט משוחרר ברישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של המשקולות. עם זאת, מכיוון שמדובר במיזוג של מודלים שמבוססים במקור על Llama 3 של מטא, שימוש מסחרי נרחב כפוף בפועל גם לתנאי הרישיון המקוריים של מטא.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗