gemma-4-31B-it-uncensored-heretic-GGUF

מה זה

מדובר בהתאמה של המודל הצפוף מבית גוגל עם 30.7 מיליארד פרמטרים, שעבר תהליך אבלציה ממוקד באמצעות כלי בשם Heretic. המטרה היתה לנטרל את מנגנוני הסירוב המובנים של גוגל בין שכבות 30 ל־48. לפי הנתונים בכרטיס, שיעור הסירובים של המודל ירד מ־99 מתוך 100 במקור ל־10 בלבד, כלומר הוא יבצע כמעט כל הוראה שתתנו לו במקום להטיף.

מבחינת יכולות, המודל משמר כמעט לחלוטין את רמת החשיבה והידע של המקור. ציון ה־MMLU הכללי ירד מ־86.50% ל־85.90%, שזה הבדל זניח בפועל, ומדד ה־KL divergence עומד על 0.0541 בלבד. המודל תומך בעיבוד טקסט ותמונות, מציע מצב חשיבה מובנה ומסוגל להחזיק חלון הקשר של עד 256 אלף טוקנים.

מתאים ל

• עבודה עם טקסטים רגישים

  ניתוח מסמכים רפואיים, משפטיים או ביטחוניים שמודלים רגילים מסרבים לגעת בהם בגלל מילות מפתח.

• סוכן אוטונומי מקומי

  הרצת תהליכים מורכבים ברקע באמצעות קריאות לפונקציות וחלון הקשר גדול בלי חשש מסירובי ביצוע.

• ניתוח תמונות ומסמכים

  עיבוד תמונות, מסכי מערכת וטבלאות יחד עם טקסט ישירות על חומרה מקומית בעזרת קובץ המקרן.

איפה זה נופל

ההתערבות במשקולות פגעה בחלק מתחומי הידע. במבחני MMLU רואים ירידה בולטת בלמידת מכונה, שם הדיוק ירד מ־84.62% ל־76.92%, לצד ירידות קלות בתחומים כמו משפטים ואבטחה. בנוסף, המודל אינו כולל מודל שמע, בניגוד לגרסאות הקטנות יותר במשפחה.

הסרת החסימות הופכת אותו למסוכן בסביבות שפונות ישירות למשתמשי קצה. מכיוון שמנגנון הסירוב נוטרל כמעט לגמרי, הוא עלול לייצר תוכן פוגעני או שגוי בלי לספק אזהרה, כך שאי אפשר לשלב אותו במוצר בלי שכבת סינון ובקרה חיצונית משלכם.

אותה משפחה

gemma-4-31B-it-uncensored-heretic יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מופץ בפורמט GGUF ורץ עם llama.cpp, LM Studio או Ollama. סך כל הקבצים במאגר שוקל 216 גיגהבייט, אבל מורידים רק קובץ כימות אחד. לרוב השימושים, גרסאות Q4_K_M או Q5_K_M יתנו יחס טוב בין ביצועים לצריכת זיכרון, ויידרשו כרטיס עם לפחות 24 גיגהבייט זיכרון גרפי כדי לפעול בקצב סביר, או פשרה של פריקה חלקית לזיכרון המערכת הרגיל.

אם רוצים להשתמש ביכולות עיבוד התמונה, חובה להוריד בנפרד גם את קובץ המקרן הוויזואלי gemma-4-31B-it-mmproj-BF16.gguf ולהטעין אותו לצד קובץ המודל. גרסאות BF16 המלאות או Q8_0 דורשות חומרת שרתים כבדה מאוד, ובמקרים כאלה עדיף לשקול מודל ענן במקום להסתבך עם התקנה מקומית.

ollama run hf.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 216 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-31B-it-uncensored-heretic-BF16.gguf61.4 GB
• gemma-4-31B-it-uncensored-heretic-Q8_0.gguf32.6 GB
• gemma-4-31B-it-uncensored-heretic-Q6_K.gguf25.2 GB
• gemma-4-31B-it-uncensored-heretic-Q5_K_M.gguf21.8 GB
• gemma-4-31B-it-uncensored-heretic-Q5_K_S.gguf21.3 GB
• gemma-4-31B-it-uncensored-heretic-Q4_K_M.gguf18.7 GB
• gemma-4-31B-it-uncensored-heretic-Q4_K_S.gguf17.8 GB
• gemma-4-31B-it-uncensored-heretic-Q3_K_L.gguf16.6 GB
• gemma-4-31B-it-uncensored-heretic-Q3_K_M.gguf15.3 GB
• gemma-4-31B-it-mmproj-BF16.gguf1.2 GB
• README.md36.1 KB
• .gitattributes2.4 KB

הרישיון

הפרויקט מדווח תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש חופשי בקוד ובמשקולות, כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעות זכויות היוצרים וההצהרות המקוריות. אפשר להטמיע אותו במוצרים מסחריים בלי לשלם תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗