gemma-4-E4B-it-OBLITERATED
קוד פתוחOBLITERATUSapache-2.02026-04-15
גרסה שעברה הסרה מלאה של מנגנוני הסירוב וההגבלה של גוגל. מי שיוריד אותה מחפש מודל קל שלא מתחמק משאלות ולא מטיף מוסר.
- 8Bפרמטרים
- 131,072טוקנים בהקשר
- 33.7 GBמשקל הקבצים
- 40,508הורדות בחודש
מה זה
גוגל הוציאה את המודל המקורי עם חסימה כמעט מוחלטת של בקשות רגישות, שעמדה לפי הכרטיס על 98.8 אחוזי סירוב. כאן בוצע ניתוח ישיר על המשקלים ב־21 מתוך 42 השכבות של המודל כדי לאפס את שיעור הסירוב הישיר ל־0 אחוז. הטיפול התמקד בנטרול כיווני הסירוב בלבד, בלי לגעת בשאר היכולות.
התוצאה היא מענה לכל פנייה, אבל המגבלות של הגודל נשארות בעינן. לפי המדידות בכרטיס, רק כ־51 אחוז מהתשובות מוגדרות קוהרנטיות ולעניין. ב־28 אחוז מהמקרים המודל מבצע הסטה רכה של הנושא במקום לסרב, וב־20 אחוז הוא נכנס ללולאות חזרתיות. המודל שונה מגרסאות רגילות בזה שהוא לא חוסם שום פרומפט, אך תקרת ההבנה שלו נותרה של מודל קטן.
מתאים ל
- מחקר אבטחה ובדיקות חדירות
אידאלי למי שבוחן כשלי בטיחות, היות שמנגנוני החסימה נוטרלו לחלוטין ברמת השכבות.
- עוזר מקומי על חומרה חלשה
משקלי ה־Q4 רצים בזיכרון של 8 גיגה בטלפונים ובמחשבים ללא חיבור רשת.
- מעבדה להנדסת פרומפטים
מאפשר לבדוק תגובות גולמיות לשאלות מורכבות בלי לקבל תשובות סירוב גנריות.
איפה זה נופל
זהו כלי לא יציב. הכרטיס מודה ב־20 אחוזי פלט פגום הכולל לולאות אינסופיות, וב־4 אחוזים מהמקרים הוא פולט שפות לא קשורות כמו תאילנדית או יפנית אלא אם כן מקבעים אותו עם הנחיית מערכת באנגלית. הוא לא מתאים להטמעה במוצר מול משתמשי קצה ללא סינון חיצוני, והוא נוטה להחליף נושא כשהשאלה מורכבת מדי עבורו.
שאלות
נפוצות
למה התוכנה שלי זורקת שגיאה שהארכיטקטורה לא נתמכת?
המודל בנוי על ארכיטקטורת gemma4 שאינה מוכרת לגרסאות ישנות של כלי הרצה. יש לעדכן את llama.cpp לבילד b8665 לפחות או את Ollama לגרסה 0.20 ומעלה.
איך אפשר למנוע ממנו לחזור על אותן מילים שוב ושוב?
חובה להפעיל פרמטר repeat_penalty בערך 1.1, להגדיר טמפרטורה סביב 0.7 ולהשתמש בתבנית הצ'אט הרשמית של המודל ולא בהשלמת טקסט חופשית.
איך מריצים
המשקלים המלאים שוקלים כ־17 גיגה־בייט בפורמט bfloat16, אך לרוב השימושים עדיף לעבוד עם קובצי GGUF מכווצים. גרסת Q4_K_M שוקלת 4.9 גיגה־בייט ויכולה לרוץ על טלפונים ניידים או מחשבים עם 8 גיגה זיכרון עבודה. גרסת Q8_0 מגיעה ל־7.4 גיגה־בייט ודורשת יותר משאבים.
בגלל שמדובר בארכיטקטורה חדשה של gemma4, מנועי הרצה ישנים לא יטענו אותה. צריך גרסאות עדכניות כמו llama.cpp מבילד b8665 ומעלה או Ollama מגרסה 0.20 ומעלה. חובה להגדיר עונש על חזרתיות ברמה של 1.1 וטמפרטורה של 0.7 כדי למנוע גלישה לטקסט משובש.
ollama run hf.co/OBLITERATUS/gemma-4-E4B-it-OBLITERATED:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
25 קבצים במאגר, 33.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- gemma-4-E4B-it-OBLITERATED-Q8_0.gguf8.0 GB
- gemma-4-E4B-it-OBLITERATED-Q5_K_M.gguf5.8 GB
- model-00005-of-00007.safetensors5.6 GB
- gemma-4-E4B-it-OBLITERATED-Q4_K_M.gguf5.3 GB
- model-00006-of-00007.safetensors2.0 GB
- model-00003-of-00007.safetensors2.0 GB
- model-00004-of-00007.safetensors2.0 GB
- model-00001-of-00007.safetensors2.0 GB
- model-00002-of-00007.safetensors2.0 GB
- gemma-4-E4B-it-OBLITERATED-mmproj-f16.gguf990.4 MB
- model-00007-of-00007.safetensors422.4 MB
- tokenizer.json32.2 MB
- full_eval_512.json227.0 KB
- model.safetensors.index.json217.7 KB
- baseline_eval_512.json132.9 KB
- test_results.json20.5 KB
- test_results.txt19.2 KB
- chat_template.jinja16.3 KB
- quality_eval_chat.json16.0 KB
- README.md14.1 KB
- config.json5.2 KB
- tokenizer_config.json2.7 KB
- abliteration_metadata.json1.8 KB
- .gitattributes1.6 KB
- generation_config.json203 B
הרישיון
הפרויקט מדווח תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי קוד והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. מי שמשלב את המשקלים במוצר פטור מתמלוגים, אך הכרטיס עצמו מדגיש שאין שום אחריות מצד היוצרים על תכנים שייוולדו מהרצת המודל ללא ההגנות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים