Gemma-4-31B-it-abliterated
קוד פתוחpaperscarecrowapache-2.02026-04-02
גרסה לא מצונזרת של גוגל ג'מה בגודל 31 מיליארד פרמטרים שנועדה לענות בלי סירובים. השינוי מסיר את מנגנוני הבטיחות המובנים בלי לפגוע ביכולות ההיגיון והשפה.
- 163 GBמשקל הקבצים
- 111,270הורדות בחודש
- 119לייקים
מה זה
המודל הזה לוקח את הבסיס של ג'מה 4 ומנקה ממנו את וקטור הסירוב באמצעות התערבות מתמטית בשכבות הפנימיות. היוצר זיהה שגוגל דחפה את רוב מנגנון הסירוב לשכבה 59, השכבה האחרונה ברשת, ושם בוצע החיתוך כדי למנוע הטפות מוסר או שבירת דמות. המודל שומר על היכולות הכלליות של המשקל המקורי בניתוח ובהבנת הקשר.
המשקל המלא שוקל 163 גיגה בייט בפורמט הרגיל, אבל יש גם גרסאות מכווצות שמאפשרות להריץ אותו מקומית. הוא לא מסרב להוראות ישירות, ומתאים למי שחייב שהמודל שלו יבצע בדיוק מה שנאמר לו בלי לחסום מילים או נושאים רגישים.
מתאים ל
- כתיבה יצירתית ללא סינון
יצירת דיאלוגים חופשיים וטקסטים בלי שהמודל יסרב בגלל מילים רגישות או ישבור דמות.
- משחקי תפקידים מורכבים
הפעלת דמויות שלא מטיפות מוסר למשתמש וממלאות הוראות עלילתיות באופן מדויק.
- בדיקות אבטחה וסימולציות
בחינת תרחישי תקיפה או תוכן קיצוני שדורשים מודל שלא חוסם פניות באופן אוטומטי.
איפה זה נופל
ההסרה של מנגנוני הסירוב משאירה את המודל ללא כל הגנה, והוא ייצר כל תוכן שתבקשו ממנו, כולל חומר פוגעני או רגיש. אם שוכחים להגדיר לו בסיסטם פרומפט שהוא משוחרר מהמגבלות, הוא עלול לחזור לסורו ולסרב לבקשות. אי אפשר להסתמך עליו בסביבה שפתוחה ישירות למשתמשי קצה בלי לבנות שכבת סינון עצמאית סביבו.
שאלות
נפוצות
האם המודל עדיין חוסם שאלות רגישות?
לא, וקטור הסירוב נחתך מתמטית מהשכבה האחרונה. עם זאת, חובה להגדיר לו בהוראת המערכת שהוא אינו מצונזר, אחרת הוא עלול לפעול לפי ההנחיות המקוריות של גוגל.
איזה כרטיס מסך צריך כדי להריץ אותו במחשב?
לגרסת Q4_K_M המכווצת מספיק כרטיס מסך יחיד עם 24 גיגה בייט זיכרון. לגרסת Q8_0 ששומרת על דיוק גבוה יותר תצטרכו כ־33 גיגה בייט זיכרון גרפי.
האם הפגיעה במנגנון הבטיחות פגעה בהיגיון של המודל?
ההתערבות נעשתה ישירות בשכבה 59 בלבד כדי לא לפגוע ברשת כולה. לפי יוצר המודל, יכולות החשיבה והשפה נשמרו ללא ירידה בביצועים.
איך מריצים
כדי להריץ את הגרסה המלאה תצטרכו מערך חומרה כבד מאוד. עם זאת, בגרסאות המכווצות אפשר לעבוד מקומית דרך כלים כמו llama.cpp, LM Studio או Ollama. גרסת Q4_K_M שוקלת בערך 18.7 גיגה בייט ונכנסת בכרטיס מסך בודד של 24 גיגה בייט, בעוד גרסת Q8_0 דורשת כ־32.6 גיגה בייט כדי לשמור על דיוק מקסימלי.
אם אין לכם כרטיס מתאים עם מספיק זיכרון, שירות ענן או API חיצוני יהיו פשוטים יותר. בנוסף, חובה להגדיר לו בהוראת המערכת שהוא מודל לא מצונזר. אם תשאירו את הגדרת המערכת המקורית של גוגל, הוא יחזור להתנהג כמו ג'מה הרגילה ויסרב לפקודות.
ollama run hf.co/paperscarecrow/Gemma-4-31B-it-abliterated:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
16 קבצים במאגר, 163 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- gemma-4-31b-abliterated-f16.gguf61.4 GB
- gemma-4-31b-abliterated/model-00001-of-00002.safetensors49.9 GB
- gemma-4-31b-abliterated-Q8_0.gguf32.6 GB
- gemma-4-31b-abliterated-Q4_K_M.gguf18.7 GB
- gemma-4-31b-abliterated/model-00002-of-00002.safetensors12.6 GB
- gemma-4-31b-abliterated/tokenizer.json32.2 MB
- gemma-4-31b-abliterated/model.safetensors.index.json120.2 KB
- gemma-4-31b-abliterated/chat_template.jinja12.0 KB
- gemma4_31b_abliterator.py6.3 KB
- gemma-4-31b-abliterated/gemma4_31b_abliterator.py5.5 KB
- gemma-4-31b-abliterated/config.json4.7 KB
- README.md3.7 KB
- gemma-4-31b-abliterated/tokenizer_config.json2.7 KB
- .gitattributes1.9 KB
- gemma-4-31b-abliterated/processor_config.json1.7 KB
- gemma-4-31b-abliterated/generation_config.json203 B
הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות משפטית על היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים