gemma-3-12b-it-abliterated-v2-GGUF

קוד פתוח

mlabonnegemma2025-05-28

transformers
gguf
image-text-to-text
endpoints_compatible
conversational

גרסה נטולת סינונים של מודל התמונות והטקסט מבית גוגל, שעברה התאמה מיוחדת כדי לא לסרב לבקשות. הפתרון מיועד למי שצריך תשובות ישירות בלי חסימות בטיחות מובנות.

45.3 GBמשקל הקבצים
2,959הורדות בחודש
59לייקים

מה זה

הבסיס כאן הוא מודל 12B של גוגל שיודע לעבוד עם תמונות וטקסט יחד, אבל בגרסה הזו הסירו את מנגנון הסירוב הפנימי שלו. היוצר השתמש בשיטת abliteration כדי לנטרל את כיווני הסירוב בייצוג הפנימי של הרשת, במטרה לעקוף מגבלות תוכן מבלי לפרק את היכולת של המודל לייצר תשובות קוהרנטיות.

בבדיקות שנעשו על גרסה זו נמדד שיעור קבלת בקשות של מעל תשעים אחוז, בשילוב בדיקות מילוניות ומודל הערכה חיצוני. זה אומר שהוא יענה על כמעט כל הנחיה שתתנו לו, כולל כאלה שהמודל המקורי היה דוחה מיד, תוך שמירה על ביצועי שפה טובים בגודל של שתים עשרה מיליארד פרמטרים.

מתאים ל

בדיקות חוסן ואבטחת מידע
הערכת תרחישי תקיפה ובדיקת עמידות של מערכות סינון חיצוניות ללא חסימות מובנות.
ניתוח תמונות וטקסט ללא צנזורה
עיבוד מידע גולמי, כולל תוכן רגיש או מעורר מחלוקת, שהגרסה המקורית של גוגל מסרבת לעבד.
מחקר על מנגנוני סירוב
בחינת השפעת נטרול שכבות הסירוב על ביצועי המודל ועל איכות הפלט.

איפה זה נופל

הסרת מנגנוני הסירוב משאירה את המודל חשוף לחלוטין. הוא עלול לפלוט תוכן פוגעני, שגוי או מסוכן בלי שום שכבת הגנה פנימית. אסור לחבר אותו למוצר מול משתמשי קצה בלי לבנות מעטפת סינון ובקרה משלכם.

בנוסף, הכרטיס מציין שהמטרה הייתה לשמור על פלט קוהרנטי לצד עקיפת הסירובים, אך התערבות במשקלים הפנימיים עלולה במקרים מסוימים לפגוע ביציבות התשובות או להגביר הזיות בהשוואה לגרסה הרשמית של גוגל.

אותה משפחה

gemma-3-12b-it-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-12b-it-abliterated-GGUF1,207

שאלות
נפוצות

למה להעדיף את הגרסה הזו על פני המקור של גוגל?

הגרסה הזו מתאימה למי שנתקל בסירובים תכופים ומיותרים במודל המקורי בעת עיבוד טקסט או תמונות. היא מספקת חופש פעולה רחב יותר ומחזירה תשובות ישירות, אך דורשת אחריות מלאה על התוכן שנפלט.

באילו פרמטרים כדאי להשתמש בזמן יצירת הטקסט?

יוצר המודל הגדיר במפורש המלצות הרצה: טמפרטורה של 1.0, ערך top_k של 64, וערך top_p של 0.95. שימוש בהגדרות אלו מסייע לשמור על איזון בין מגוון התשובות לקוהרנטיות שלהן.

איך מריצים

המודל מופץ בפורמט GGUF ומחולק לשמונה קבצים בנפח כולל של ארבעים וחמישה גיגהבייט. כדי להריץ גרסה כזו מקומית תצטרכו כרטיס מסך חזק עם מספיק זיכרון וידאו, או מעבד חזק עם זיכרון מערכת נדיב במידה וטוענים קוונטיזציה מותאמת דרך כלים כמו llama.cpp.

היוצר ממליץ על פרמטרי הפקה ספציפיים שכוללים טמפרטורה של אחת, top_k של שישים וארבע, ו־top_p של אפס נקודה תשעים וחמש. אם אין לכם חומרה מתאימה להחזיק מודל כזה מקומית, עדיף לפנות לשירותי ענן שמארחים מכונות ייעודיות.

ollama run hf.co/mlabonne/gemma-3-12b-it-abliterated-v2-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_012.5 GB Q6_K9.7 GB Q5_K_M8.4 GB Q4_K_M7.3 GB Q3_K_M6.0 GB Q2_K4.8 GB

הקבצים

8 קבצים במאגר, 45.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא רישיון gemma של גוגל. מדובר בהסכם תנאי שימוש ייעודי ולא ברישיון קוד פתוח חופשי לחלוטין. הוא מתיר שימוש מסחרי בכפוף למגבלות השימוש ההוגן והמדיניות של גוגל, ולכן מומלץ לקרוא היטב את תנאי הרישיון המקוריים לפני שילוב שלו במערכות מסחריות.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗