L3-DARKEST-PLANET-16.5B-GGUF

קוד פתוח

DavidAUapache-2.02024-10-10

gguf
creative
creative writing
fiction writing
plot generation

הרחבה של מודל שמונה מיליארד פרמטרים לנפח כפול, שמכוונת לכתיבת אימה וספרות אפלה בלי מעצורים. מתאים למי שרוצה טקסטים ארוכים, מפורטים ומאוד גרפיים בלי שום צנזורה.

222 GBמשקל הקבצים
4,655הורדות בחודש
94לייקים

מה זה

הבסיס כאן הוא מודל שמונה מיליארד פרמטרים של לאמה שלוש, שעבר הרחבה בארבעים שכבות לתוך שבעים ואחת שכבות ושישה עשר וחצי מיליארד פרמטרים. היוצר שילב חלקים ממודלים כמו Stheno, Lumimaid ו־Blackroot בשיטה שהוא מכנה Brainstorm 40x. המטרה אינה חוכמה כללית או פתרון בעיות לוגיות, אלא סגנון פרוזה ספציפי: פירוט חושי כבד, פסקאות מקדימות של רמיזות לעתיד, ונטייה חזקה לסצנות קודרות ואלימות.

בניגוד למודלי בסיס סטנדרטיים, הטקסטים כאן נוטים לאורכים חריגים ולסגנון לא מהוקצע בכוונה. הוא מיועד לעבוד עם תבנית ההנחיות של לאמה שלוש או קומנד אר, ומספק תוצאות שונות לחלוטין בכל אחת מהן. אין כאן מדידות בנצ'מרק של דיוק או ידע, פשוט כי המודל לא מכויל למבחנים האלה אלא למשחקי תפקידים וכתיבה חופשית בעולם ספרותי אפל.

מתאים ל

כתיבת סיפורי אימה
מייצר סצנות עמוסות תיאורים פיזיים ואווירה קודרת עם פסקאות ארוכות ומפורטות.
משחקי תפקידים ללא צנזורה
פועל ללא מסנני בטיחות ומגיב היטב לעולם עלילתי מחוספס, אלים או מיני.
סיעור מוחות עלילתי
מייצר רעיונות לטוויסטים עלילתיים ורמזים מקדימים בזכות מבנה השכבות המורחב.

איפה זה נופל

היוצר מציין במפורש שהמודל סובל מהטיה שלילית כבדה ולא מתאים לתוכן עם סופים טובים. הוא נוטה למלל מוגזם, ואם מורידים את עונש החזרתיות מתחת ל־1.05 הוא עלול להיכנס ללולאות של חזרות או זעם בלתי נשלט. בהקשרים מורחבים עם חבלול צריך להעלות טמפרטורה ולהוסיף הנחיות כדי לפצות על ירידה בביצועים.

בקוונטים הנמוכים של שתיים ושלוש סיביות המודל פשוט נשבר, והיוצר מודה שהדחיסה הורסת אותו ודורשת טמפרטורה נמוכה מאוד. בנוסף, חלון ההקשר המקורי קצר יחסית, שמונה אלפים קבועים, והוא תומך רק באנגלית.

שאלות
נפוצות

האם המודל תומך בעברית?

המודל אומן והוגדר לאנגלית בלבד. כל ניסיון לכתוב איתו בעברית יפיק תוצאות משובשות או בליל אותיות.

איזה כרטיס מסך נחוץ בשביל להריץ אותו בלי תקלות?

לגרסאות איכותיות כמו Q4 או Q8 תצטרכו כרטיס מסך עם שנים עשר עד שישה עשר גיגה זיכרון ייעודי, או שימוש בגרסאות מקס-סיפיאו שמעבירות חלק מהעומס לזיכרון הראשי.

האם המודל מתאים לצ'אט כללי או לכתיבת קוד?

ממש לא. הוא לא אומן לידע כללי או לקוד, ויש לו נטייה חזקה לענות בסגנון ספרותי אפל, מורבידי וארוך מדי.

איך מריצים

כדי להריץ אותו צריך משאבים של מודל שישה עשר מיליארד פרמטרים. יש גרסאות מיוחדות שמפצלות שכבות: גרסת Q8_0 מקס למשל דורשת כחמישה עשר גיגה זיכרון בכרטיס המסך ועוד שלושה גיגה בזיכרון המערכת. גרסאות קלות כמו Q2_K ירוצו גם על כרטיס עם שמונה גיגה זיכרון, אבל מאבדות הרבה מהיכולת הספרותית.

בממשקים כמו KoboldCpp או טקסט ג'נריישן ווב יו איי מומלץ להגדיר מקדם החלקה של 1.5 עד 2.5 או עונש חזרתיות סביב 1.1 כדי למנוע הידרדרות לטקסטים בלתי נגמרים. אם אתם מחפשים מענה מהיר או תשובות עובדתיות, אין שום סיבה להריץ אותו מקומית ועדיף לפנות לכל ממשק מסחרי רגיל.

ollama run hf.co/DavidAU/L3-DARKEST-PLANET-16.5B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

24 קבצים במאגר, 222 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא אפאצ'י שתיים אפס. הוא מתיר שימוש מסחרי, שינוי של הקוד והפצה חופשית בלי תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון בכל הפצה. זהו רישיון מתירני שאינו מחייב לחשוף פיתוחים קנייניים שנבנו סביבו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗