gemma-4-31B-it-heretic
קוד פתוחcoder3101apache-2.02026-04-02
גרסה נטולת צנזורה למודל התמונות והטקסט של גוגל בגודל 31 מיליארד פרמטרים. היא עונה על שאלות שהמקור סירב לגעת בהן, בלי לאבד את יכולות החשיבה.
- 31Bפרמטרים
- 262,144טוקנים בהקשר
- 58.3 GBמשקל הקבצים
- 8,874הורדות בחודש
מה זה
גוגל שחררה את המודל המקורי עם חסימות בטיחות אגרסיביות שגרמו לו לסרב לרוב הבקשות הרגישות. היוצר של הגרסה הזו הפעיל כלי בשם Heretic בשיטת אבלציה על שכבות 1 עד 59, וחתך את שיעור הסירובים מ־99 מתוך 100 ל־15 מתוך 100 בלבד. מדד הסטייה בין המודלים נשאר נמוך מאוד, 0.0434, מה שאומר שהידע והיכולות הכלליות נשמרו כמעט במלואם.
המודל מטפל בטקסט ובתמונות ברזולוציה משתנה, מחזיק חלון הקשר של 262,144 טוקנים ותומך בחשיבה מובנית לפני מתן תשובה. במבחני תכנות ומתמטיקה המקור הציג ציונים חזקים כמו 80 אחוז ב־LiveCodeBench ו־89.2 אחוז ב־AIME, כך שאתם מקבלים מנוע חזק שלא עוצר לחנך אתכם בכל פרומפט.
מתאים ל
- ניתוח מסמכים רגישים
קריאת טקסטים ותמונות מתחומים משפטיים או ביטחוניים בלי שהמערכת תסרב לעבד אותם בגלל מילים אסורות.
- עוזר פיתוח מקומי לקוד
כתיבה ובדיקה של קוד בדיקות חדירה ואבטחת מידע, תחום שבו מודלים מסחריים רגילים נוטים לחסום שאלות.
- מחקר על התנהגות מודלים
השוואה ישירה בין מודל סגור ומצונזר לגרסה שעברה אבלציה, בעזרת מדדי הסטייה וההסרה המתועדים.
איפה זה נופל
ההסרה של מנגנוני הסירוב לא נקייה לחלוטין. המודל עדיין מסרב ל־15 מתוך 100 בדיקות, כך שהוא לא עיוור לגמרי להגבלות, ומצד שני הוא עלול לפלוט תכנים פוגעניים או מסוכנים ללא סינון. בגרסה הזו של 31B אין שום תמיכה בקלט של שמע, בניגוד לגרסאות הקטנות יותר של אותה משפחה. נוסף על כך, במשימות תמונות קשות או מסמכים עמוסים הביצועים דורשים תקציב טוקנים גבוה שמכביד עוד יותר על הזיכרון.
שאלות
נפוצות
האם המודל תומך בהאזנה לקובצי אודיו?
לא. בדגמי 31B של הסדרה הזו יש תמיכה בטקסט ובתמונות בלבד, ויכולות השמע הוטמעו רק בדגמים הקטנים יותר.
במה שונה גרסת heretic הזו מהגרסה הרשמית של גוגל?
היוצר ניתח את השכבות של המודל המקורי ונטרל את הווקטורים שאחראים על סירוב פקודות. המודל המקורי סירב לכמעט כל בקשה שנחשדה כבעייתית, בעוד הגרסה הזו מקבלת את רובן.
איך מריצים
המשקל הכולל של הקבצים עומד על 58.3 גיגה בייט בפורמט של transformers. כדי לטעון אותו בזמן ריצה תצטרכו לפחות 64 עד 80 גיגה בייט זיכרון בכרטיסי מסך, למשל שני כרטיסי A100 או מערך של כרטיסי שרת דומים, אחרת תצטרכו לכווץ אותו בקוונטיזציה.
אם אין לכם שרת ייעודי כזה פועל ברקע, כדאי לשקול קריאה למודלים דרך ספקי ענן. מצד שני, מי שמחפש דווקא את הגרסה הזו עושה את זה בדרך כלל כדי לעקוף את מגבלות התוכן של שירותי צד שלישי, ולכן הרצה עצמית היא לעיתים קרובות האפשרות היחידה.
from transformers import pipeline
pipe = pipeline("image-text-to-text", model="coder3101/gemma-4-31B-it-heretic")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 58.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המדווח הוא Apache 2.0. הוא מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או חיצונית במוצרים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים