GPT
הוספת כלי
G

gemma-3-27b-it-abliterated

קוד פתוח

mlabonnegemma2025-03-16

  • transformers
  • safetensors
  • gemma3
  • image-text-to-text
  • conversational

גרסה נטולת סינונים למודל של גוגל, שעברה שינוי משקולות כדי להפסיק לסרב לבקשות. היא מיועדת למי שצריך מודל חזק שלא נחסם מול נושאים רגישים.

  • 27Bפרמטרים
  • 131,072טוקנים בהקשר
  • 51.1 GBמשקל הקבצים
  • 2,361הורדות בחודש

מה זה

מדובר בעיבוד למודל Gemma 3 בגודל 27 מיליארד פרמטרים, שמסוגל לעבד גם תמונה וגם טקסט עם חלון הקשר של 131,072 טוקנים. היוצר שלו, mlabonne, יישם עליו טכניקה בשם abliteration שמשנה את כיווני הסירוב ישירות במשקולות המודל בכל שכבה בנפרד, במקום לאמן אותו מחדש.

לפי הכרטיס, גוגל בנו את ג׳מה 3 בצורה שהקשתה על הסרת הסירובים בהשוואה למודלים אחרים כמו קוון. השיטה הספציפית שיושמה כאן, עם משקל סירוב של 1.5, הביאה ליותר מתשעים אחוזי היענות לבקשות בלי לפרק את היכולת של המודל לענות תשובות קוהרנטיות.

מתאים ל

  • מחקר על עקיפת סינונים

    מאפשר לבחון איך הסרת כיווני סירוב מובנים משפיעה על התנהגות מודל מולטימודלי גדול.

  • עיבוד טקסטים ומסמכים רגישים

    מתאים לניתוח חומרים משפטיים, רפואיים או יצירתיים שמודלים רגילים נוטים לחסום בטעות.

  • ניתוח תמונה וטקסט ללא צנזורה

    מטפל בשאלות מורכבות על תמונות ומסמכים עם הקשר ארוך בלי לקבל סירובים אוטומטיים.

איפה זה נופל

היוצר עצמו מצהיר שמדובר בפרויקט ניסיוני מאוד, וייתכן שהתוצאות לא יהיו טובות כפי שמצפים. התערבות ישירה במשקולות עלולה להוביל לפגיעה באיכות התשובות בחלק מהמשימות או להזיות, למרות המדידה של תשעים אחוזי היענות. אם אתם בונים שירות שחשוף לקהל רחב, תצטרכו לבדוק בעצמכם היכן ההיגיון שלו נשבר, כי מודל כזה יספק מענה גם לבקשות זדוניות בלי שום מנגנון בלימה מובנה.

אותה משפחה

gemma-3-27b-it-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-27b-it-abliterated-GGUF7,668

שאלות
נפוצות

מה המשמעות של abliterated בפועל?

זה אומר שמישהו שינה את המשקולות הפנימיות כדי לנטרל את התגובה שמחזירה סירוב, כמו תשובות של אני לא יכול לעזור בזה. במקום להוסיף פרומפטים מורכבים שעוקפים את ההגנות, המודל פשוט מתוכנת מחדש להיענות לבקשה.

האם המודל שומר על יכולות הראייה וההקשר של ג׳מה 3?

הארכיטקטורה נותרה Gemma3ForConditionalGeneration עם תמיכה בתמונה וטקסט וחלון של 131,072 טוקנים. עם זאת, מכיוון שהשינוי במשקולות ניסיוני, יש סיכון לירידה ביכולות הדיוק לעומת הגרסה המקורית של גוגל.

איך מומלץ להגדיר את הפרמטרים של הריצה?

היוצר ממליץ על טמפרטורה של 1.0, ערך top_k של 64 ו־top_p של 0.95. כדאי להתחיל מהערכים האלה כדי לקבל תפוקה יציבה ועקבית כפי שנבדק בתהליך השינוי.

איך מריצים

כדי להריץ את קובצי ה־bfloat16 המקוריים, ששוקלים יחד מעל 51 ג׳יגה־בייט, תצטרכו כרטיס מקצועי עם לפחות 64 ג׳יגה זיכרון גרפי, או מערך של שני כרטיסי 24 ג׳יגה שמשתמשים בקוונטיזציה. המודל נתמך ישירות בספריית transformers, והיוצר ממליץ על הגדרות של טמפרטורה 1.0, ערך top_k של 64 ו־top_p של 0.95.

אם אין לכם שרת ייעודי, קיים גם קישור לגרסת GGUF מכווצת שמתאימה לשימוש על חומרה ביתית חלשה יותר דרך מנועים מקומיים. מי שלא רוצה לנהל תשתית כבדה ויקרה כזו ימצא שעדיף לגשת לגרסאות מקוריות דרך ממשקי ענן, אלא אם ביטול הסינונים הוא דרישת חובה עבורו.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="mlabonne/gemma-3-27b-it-abliterated")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 51.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון gemma של גוגל. הרישיון הזה מאפשר בדרך כלל שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש וההגבלות המקוריות של גוגל על משפחת המודלים הזו. מי שמתכנן להטמיע אותו במוצר צריך לבדוק את תנאי השימוש של גוגל לגבי הפצה מחדש של גרסאות משודרגות ללא מנגנוני בטיחות.

  • שימוש מסחרי
  • שינוי הקוד
  • כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗