gemma-3-27b-it-abliterated-GGUF

קוד פתוח

mlabonnegemma2025-03-17

transformers
gguf
autoquant
image-text-to-text
endpoints_compatible

גרסה נטולת סינונים של גוגל שמסרבת לענות על הרבה פחות בקשות. היא מקבלת תמונות וטקסט, ויושבת על משקלים שעברו שינוי ישיר כדי לעקוף את מנגנוני הבטיחות.

104 GBמשקל הקבצים
7,668הורדות בחודש
251לייקים

מה זה

מקסים לבונה לקח את המודל של גוגל בגודל 27 מיליארד פרמטרים וביצע בו תהליך שמסיר את שכבות הסירוב הפנימיות. במקום אימון מחדש, הוא חישב את כיוון הסירוב במצבים הנסתרים בכל שכבה בנפרד, ושינה את המשקלים עם מקדם של 1.5. לפי הכרטיס, המודל הזה הגיע לשיעור היענות של מעל 90 אחוזים לבקשות שגוגל בדרך כלל חוסמת, בלי לאבד את הקוהרנטיות של הטקסט.

המודל מיועד לעבודה משולבת של תמונה וטקסט, ומגיע בפורמט שמתאים להרצה מקומית. הוא שונה מגרסאות רגילות בכך שגוגל עיצבה את ג׳מה 3 להיות עמידה במיוחד לניסיונות פריצה ושינוי, ולכן נדרשה פה שיטה שכבתית ייעודית ולא השיטה הרגילה.

מתאים ל

מחקר על מנגנוני בטיחות
לבחון איך הסרת כיווני סירוב בשכבות משפיעה על התנהגות מודל מולטימודלי.
ניתוח תמונות ללא חסימות
משימות שבהן תמונות תמימות מפעילות בטעות מסנני בטיחות במודל הרגיל של גוגל.
כתיבה יצירתית חופשית
יצירת טקסט שלא נבלמת על ידי הגדרות זהירות מוגזמות של המקור.

איפה זה נופל

היוצר עצמו מבהיר שמדובר בניסוי ולא במוצר יציב, ושדברים עלולים לא לעבוד כמצופה. שינוי כיווני הסירוב במשקלים אולי מונע סירובים, אבל עלול לפגוע ביכולות חשיבה מורכבות או לייצר פלטים פחות יציבים. אין בכרטיס מדדי ביצועים מסודרים על משימות סטנדרטיות, כך שחובה לבדוק בעצמכם אם איכות התשובות הכללית לא נשחקה ביחס למקור.

אותה משפחה

gemma-3-27b-it-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-27b-it-abliterated2,361

שאלות
נפוצות

באילו פרמטרים מומלץ להריץ את המודל?

היוצר ממליץ במפורש להשתמש בטמפרטורה של 1.0, עם ערך top_k של 64 ו־top_p של 0.95. הערכים האלה נועדו לשמור על פלט קוהרנטי ויציב.

האם המודל מסוגל לעבד תמונות?

כן, המשימה המוגדרת היא תמונה וטקסט לטקסט. ההרצה כוללת קובץ ייעודי לעיבוד ויזואלי שנבנה עבור הפורמט הזה.

איך מריצים

הקבצים שוקלים 104 גיגה בייט במצטבר, כך שצריך כרטיס מסך רציני עם זיכרון וידאו גבוה מאוד או מערך של שני כרטיסים כדי להריץ את הגרסאות המלאות. ברטובסקי סיפק קובץ מתאים לעיבוד תמונה, מה שאומר שחייבים לטעון גם אותו אם רוצים לנתח תמונות לצד הטקסט.

מי שאין לו שרת מקומי עם לפחות 32 עד 48 גיגה בייט של זיכרון פנוי יתקשה מאוד לקבל זמני תגובה סבירים. אם אתם צריכים רק בדיקה מהירה או שאין לכם חומרה ייעודית, עדיף לחפש שירות שמארח את המודל הזה או להישאר עם ה־API הרשמי של גוגל.

ollama run hf.co/mlabonne/gemma-3-27b-it-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_028.7 GB Q6_K22.2 GB Q5_K_M19.3 GB Q4_K_M16.5 GB Q3_K_M13.4 GB Q2_K10.5 GB F16857.7 MB

הקבצים

9 קבצים במאגר, 104 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון ג׳מה של גוגל. מותר להשתמש בו לצרכים פנימיים ומסחריים, אבל כפוף לתנאי השימוש המקוריים והמגבלות של גוגל לגבי הפצה ושימושים אסורים. אם אתם משלבים אותו במוצר, אתם עדיין מחויבים למדיניות הבסיסית של המשפחה הזו.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗