gemma-3-12b-it-abliterated-GGUF

קוד פתוח

mlabonnegemma2025-03-17

transformers
gguf
autoquant
image-text-to-text
endpoints_compatible

גרסה נטולת סינונים של גמא 3 שמיועדת לענות על בקשות שהמקור חוסם מיד. היא שומרת על יכולות עיבוד תמונה וטקסט בפורמט שמתאים להרצה מקומית.

89.2 GBמשקל הקבצים
1,207הורדות בחודש
55לייקים

מה זה

מקסים לבונה לקח את המודל המקורי של גוגל וביצע בו תהליך שמנטרל את מנגנוני הסירוב המובנים. בגודל של 12 מיליארד פרמטרים, המודל הזה מטפל גם בתמונות וגם בטקסט, אבל בניגוד לגרסה הרשמית הוא כמעט לא מסרב לפקודות.

היוצר השתמש בשיטה של חישוב כיווני סירוב על בסיס מצבים נסתרים בשכבות 3 עד 45, עם משקל ייעודי שנועד לשמור על המודל עקבי. לפי הבדיקות שלו, השינוי מניב מעל תשעים אחוזי היענות לבקשות שהיו נחסמות קודם, תוך ניסיון לשמור על חלוקת המשקולות המקורית בלי לפרק את ההיגיון הלשוני של התשובות.

מתאים ל

מחקר על מנגנוני בטיחות
מאפשר לבדוק שיטות להסרת סירובים בשכבות עמוקות בלי להתנגש במחסומי הבטיחות של גוגל.
ניתוח תמונות ללא הגבלה
משלב יכולת מולטימודלית בגודל בינוני שמסוגלת לתאר ולהבין תמונות בלי לסרב להנחיות גבוליות.
יצירת תוכן יצירתי לא מצונזר
מייצר טקסט חופשי לפי הגדרות המשתמש כשצריך לעקוף את מנגנוני המוסר המובנים של המודל המקורי.

איפה זה נופל

ההתערבות הידנית במשקולות פגעה ביציבות הטקסט, והיוצר מודה במפורש שזה ניסיוני לחלוטין. הוא נתקל בשיבושי מילים מוזרים, כמו השמטת אותיות וגרשיים, מה שאומר שהמודל פולט לפעמים זבל.

בנוסף, גמא התגלה כעמיד במיוחד לניסיונות הסרת סירוב, ולכן הנדוס המשקולות כאן אגרסיבי. לפני שחושבים להכניס אותו לסביבת ייצור, חובה לבדוק ידנית שהוא לא מאבד הקשר או מייצר הזיות מוגזמות במשימות המדויקות שאתם צריכים.

אותה משפחה

gemma-3-12b-it-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-12b-it-abliterated-v2-GGUF2,959

שאלות
נפוצות

למה הטקסט יוצא לפעמים משובש?

התהליך שמוחק את מנגנוני הסירוב נוגע ישירות בשכבות הפנימיות של הרשת, משכבה 3 ועד 45. הפגיעה הזו במשקולות גורמת למודל לפלוט מדי פעם טעויות תחביריות או מילים חתוכות, כפי שהיוצר עצמו ציין.

אילו הגדרות הרצה כדאי לקבוע?

לפי כרטיס המודל, מומלץ להריץ עם טמפרטורה של 1.0, ערך טופ קיי של 64 וטופ פי של 0.95. ההגדרות האלה עוזרות לו להישאר קוהרנטי למרות השינויים שנעשו ברשת.

איך מריצים

המודל שוקל כמעט תשעים גיגה בגרסאות השונות שלו ומופץ כרגע בפורמט שמיועד לספריית טרנספורמרס, למרות הסיומת בשם. כדי להריץ משקלים כאלה תצטרכו כרטיס מסך חזק עם זיכרון וידאו ייעודי משמעותי, אחרת הביצועים ייפלו לרצפה.

אם אין לכם חומרה כבדה וייעודית להרצה עצמית, פנייה ישירה לשרתי ענן או שימוש במודלים מקוריים דרך ממשקי רשת תהיה זולה ופשוטה בהרבה. היוצר ממליץ במפורש להגדיר טמפרטורה על 1.0, טופ קיי על 64 וטופ פי על 0.95 כדי לקבל פלט סביר.

ollama run hf.co/mlabonne/gemma-3-12b-it-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

BF1623.5 GB gemma-3-12b-it-abliterated.fp1623.5 GB Q8_012.5 GB Q6_K9.7 GB Q5_K_M8.4 GB Q4_K_M7.3 GB Q3_K_M6.0 GB Q2_K4.8 GB

הקבצים

10 קבצים במאגר, 89.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל כפוף לתנאי השימוש הרשמיים של גוגל עבור משפחת גמא. הרישיון מתיר שימוש מסחרי בתנאי שמצייתים למגבלות השימוש ההוגן ולמדיניות של גוגל. העובדה שהוסרו ממנו מנגנוני הבטיחות לא פוטרת אתכם מתנאי ההפצה המקוריים שגוגל דורשת.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗