L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-GGUF

מה זה

הבסיס הוא Llama 3.2 3B Instruct, אבל היוצר הוסיף לו 39 שכבות והפך אותו למודל של 67 שכבות ו־7.54 מיליארד פרמטרים בשיטה שהוא מכנה Brainstorm 40x. המטרה המרכזית בשינוי הזה היא כתיבת פרוזה מפורטת, יצירת עולמות ומשחקי תפקידים, לצד תהליך abliteration שמנטרל את מנגנוני הסירוב המובנים של מטא. הוא תומך בחלון הקשר מלא של 128k טוקנים, ועובד עם טמפרטורות גבוהות וחריגות שמגיעות עד 5 בלי לקרוס לג'יבריש מוחלט.

בניגוד למודלי 7B רגילים שאומנו מאפס על הגודל הזה, כאן מדובר בהרחבה מלאכותית של מודל קטן יותר. הטקסט שהוא מייצר נוטה להיות ארוך, תיאורי ועמוס בפרטי סביבה ודמויות, אבל המשמעות היא גם רגישות קיצונית להגדרות דגימה כמו repetition penalty וטמפרטורה, שקובעות אם הטקסט יהיה עשיר או יימרח למונולוגים אינסופיים.

מתאים ל

• כתיבת סיפורת ואימה

  טוב ליצירת תיאורים גרפיים, סצנות מפורטות וז'אנרים אפלים בלי לחטוף הודעות סירוב על תוכן אלים.

• משחקי תפקידים ב־SillyTavern

  מתאים לדמויות עם אופי מורכב ופרוזה חופשית, כל עוד מקפידים על הגדרת repetition penalty של 1.1 ומעלה.

• סיעור מוחות יצירתי

  היכולת לייצר פסקאות ארוכות ועמוסות בדימויים מסייעת לבניית עולמות ופיתוח דיאלוגים מורכבים.

איפה זה נופל

המודל הזה אינו כלי אמין למידע, קוד או משימות דיוק. הכרטיס מודה במפורש בבעיות שגיאות כתיב מזדמנות, היעדר אותיות גדולות באנגלית, ונטייה להיכנס ל־rant, כלומר מריחה של טקסט באורח חריג כשמשתמשים בפרומפטים קצרים או ביחסי דגימה שגויים. בנוסף, הוא מאומן באנגלית בלבד, כך שעברית כנראה תהיה שבורה, וקוואנטים נמוכים מ־Q4 פוגעים בו קשות.

איך מריצים

הקבצים שוקלים יחד 56.9 גיגה בייטים בפורמט GGUF, אבל מורידים קובץ קוואנט אחד שמתאים לחומרה שלכם. גרסאות Q4KM או Q5 דורשות סביב 6 עד 8 גיגה זיכרון וידאו, מה שאומר שכרטיס RTX 3060 ומעלה מריץ אותם בלי לגעת במעבד. יש במאגר גם קוואנטים ייעודיים ל־ARM שלא יעבדו טוב על מעבדי x86, וקוואנטים נמוכים כמו Q2k ו־Q3 שסובלים מאיבוד איכות כבד ומחייבים להוריד טמפרטורה מתחת ל־1 או 2.

מריצים אותו בכלים מקומיים כמו KoboldCpp, oobabooga או SillyTavern עם תבנית Llama 3 או Command-R. חובה להגדיר repetition penalty של לפחות 1.05 כדי שלא יחזור על פסקאות, ועדיף להפעיל smoothing factor סביב 1.5 עד 2.5 כדי לייצב אותו.

ollama run hf.co/DavidAU/L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 56.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q8_0.gguf8.0 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q6_k.gguf6.2 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-q5_k_m.gguf5.4 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q5_k_s.gguf5.2 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q4_k_m.gguf4.6 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q4_k_s.gguf4.4 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q4_0_4_4.gguf4.3 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q4_0_4_8.gguf4.3 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q4_0_8_8.gguf4.3 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-IQ4_XS.gguf4.2 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q3_k_m.gguf3.7 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q3_k_s.gguf3.4 GB
• L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-D_AU-Q2_k.gguf2.9 GB
• rogue-ab.webp64.2 KB
• README.md34.2 KB
• .gitattributes3.0 KB

הרישיון

הרישיון המדווח הוא Apache 2.0. הוא מתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים ללא תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. שימו לב שהבסיס נשען על Llama 3.2, שכפופה לתנאי הקהילה של מטא, כך שיש לוודא שאין סתירה ביניהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗