gemma-4-31B-it-scotoma-2-GGUF

מה זה

המודל מבוסס על gemma-4-31B-it ועבר תהליך כפול. תחילה הופעל עליו שחרור חלקי של מנגנוני הסירוב באמצעות עריכת משקלים ייעודית, ואחר כך שלושה סבבי אימון העדפה על 9,300 זוגות נתונים. המטרה של האימון הייתה להעלים דפוסי ניסוח מלאכותיים שחוזרים בכל מודל שפה מודרני, כמו צמדי שמות תואר, שימוש עודף במקפים ארוכים, ושלילה כפולה.

בבדיקה שנערכה על 480 קטעי שיחה, המדידות מציגות ירידה חדה בתבניות האלה. השימוש בשמות תואר עוקבים צנח משיעור של 12.1 למאה משפטים במקור ל־0.6 בלבד, ומבנה הניסוח המנוגד הצטמצם פי ארבעה. בפועל, התוצאה היא כתיבה שנשמעת נקייה וטבעית יותר, תוך שמירה על יכולות החשיבה של מודל הבסיס.

מתאים ל

• כתיבה יוצרת ומשחקי תפקידים

  המודל פותח ונמדד בדיוק על תרחישים אלו, והוא מייצר דיאלוגים נקיים משבלונות ומקלישאות לשוניות.

• עריכה ושכתוב פרוזה

  אימון ההעדפה מעלים ניסוחים רובוטיים וחזרות מעיקות על שמות תואר ומבני שלילה.

• הרצה מקומית מאובטחת

  פורמט הקבצים מאפשר הפעלה בתשתיות פנימיות ללא שליחת נתונים רגישים החוצה.

איפה זה נופל

היוצרים מבהירים במפורש שזה אינו מודל לא מצונזר. עריכת מנגנון הבטיחות היא חלקית בלבד, ובפועל הוא ימשיך לסרב לבקשות רבות בדיוק כמו מודל הבסיס של גוגל. בנוסף, מדובר בתוצר מחקרי שאינו מוגדר כמוצר מדף, והתנהגות הטקסט עשויה להשתנות מאוד בהתאם להנחיות ולהקשר. לפני שמשלבים אותו במערכת ייצורית, חובה לבדוק ידנית שהוא לא פוגע במענה לשאלות עובדתיות או בהיגיון המקורי.

אותה משפחה

gemma-4-31B-it-scotoma-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של כלל קובצי ה־GGUF במאגר עומד על 213 ג'יגה בייט ב־20 קבצים. כדי להריץ גרסה אחת של מודל בגודל 31 מיליארד פרמטרים, תצטרכו כרטיס מסך עם לפחות 24 ג'יגה זיכרון עבור גרסאות מכווצות, או מערך של שני כרטיסים ומעלה עבור הרצה מדויקת יותר.

אם אתם לא צריכים שרת מקומי שרץ אצלכם בענן או בתוך רשת סגורה, להחזיק חומרה כזו בשביל מודל 31B עולה לא מעט. במקרים שבהם אין דרישת פרטיות מוחלטת, זול יותר לפנות למודל דרך ספק צד שלישי.

ollama run hf.co/ReadyArt/gemma-4-31B-it-scotoma-2-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

20 קבצים במאגר, 213 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-31B-scotoma-2-Q8_0.gguf32.6 GB
• gemma-4-31B-scotoma-2-Q6_K.gguf25.2 GB
• gemma-4-31B-scotoma-2-Q5_K_M.gguf21.8 GB
• gemma-4-31B-scotoma-2-Q5_K_S.gguf21.3 GB
• gemma-4-31B-scotoma-2-Q4_K_M.gguf18.7 GB
• gemma-4-31B-scotoma-2-Q4_K_S.gguf17.8 GB
• gemma-4-31B-scotoma-2-IQ4_XS.gguf16.7 GB
• gemma-4-31B-scotoma-2-Q3_K_M.gguf15.3 GB
• gemma-4-31B-scotoma-2-IQ3_M.gguf14.4 GB
• gemma-4-31B-scotoma-2-Q3_K_S.gguf13.8 GB
• gemma-4-31B-scotoma-2-IQ3_XS.gguf13.1 GB
• gemma-4-31B-scotoma-2-IQ3_XXS.gguf12.1 GB
• mmproj-gemma-4-31B-scotoma-2-F32.gguf2.3 GB
• mmproj-gemma-4-31B-scotoma-2-BF16.gguf1.2 GB
• mmproj-gemma-4-31B-scotoma-2-F16.gguf1.2 GB
• mmproj-gemma-4-31B-scotoma-2-Q8_0.gguf809.5 MB
• imatrix.gguf13.8 MB
• scotoma-2-hero.webp37.7 KB
• README.md17.4 KB
• .gitattributes2.7 KB

הרישיון

הרישיון המדווח במאגר הוא Apache 2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי קוד והפצה. יחד עם זאת, כרטיס המודל מציין כי הבסיס כפוף לתנאי הרישיון המקוריים של גוגל למשפחת גמה, ולכן יש לוודא עמידה במגבלות המקוריות לפני הפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗