gemma-4-31B-it-AWQ-4bit

מה זה

מדובר בהמרה של דגם הדגל הדחוס בסדרת ג'מה 4, שכולל 33 מיליארד פרמטרים. cyankiwi כיילו את גרסת ה־AWQ הזו ספציפית לתחומי מדעים, הנדסה וסוכנים עצמאיים. המודל תומך בטקסט ובתמונות ברזולוציה גמישה, מבין וידאו דרך רצף פריימים, ומגיע עם חלון הקשר של 256 אלף טוקנים שמאפשר להזין לו מסמכים שלמים או קוד מקור נרחב.

במדדי הביצועים של גוגל הדגם המלא מציג יכולות מרשימות מאוד, כמו ציון 89.2% במבחן המתמטיקה AIME 2026 ללא כלים ודירוג 2150 ב־Codeforces. בתמונות הוא מגיע ל־76.9% ב־MMMU Pro. זה אומר שבמשימות תכנות וניתוח טכני הוא מתקרב למודלים מסחריים סגורים, כל עוד המשימה נשארת בתחומי טקסט ותמונה ולא דורשת קול.

מתאים ל

• ניתוח מסמכים ותרשימים

  פענוח דוחות טכניים מורכבים שמשלבים גרפים, תמונות והסברים בטקסט אחד.

• סוכן לכתיבת קוד

  יכולת פתרון בעיות ושימוש בכלים שמתאימים למשימות תכנות ברמה גבוהה.

• עיבוד וידאו קצר

  בדיקת סרטונים באורך של עד דקה באמצעות פירוק לפריימים ללא סאונד.

איפה זה נופל

בניגוד לדגמים הקטנים בסדרה, הגרסה הזו לא תומכת בקלט אודיו כלל. המודל מוגבל לטקסט, תמונות ווידאו ללא צליל. בנוסף, במבחן שליפת המידע מהקשר ארוך MRCR v2 הוא נעצר על 66.4%, מה שמראה שחלק מהמידע הולך לאיבוד בתוך מסמכים ענקיים.

לגבי עברית, כרטיס הכיול של המפרסם מציין במפורש עשר שפות נבחרות ועברית אינה ביניהן, אף שהמודל המקורי אומן על מעל 140 שפות. לפני שבונים עליו ממשק עברי חייבים לבדוק אם הקוונטיזציה לא פגעה ביכולת השפתית המקומית שלו.

אותה משפחה

gemma-4 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל עומד על כמעט 21 גיגה בייט, כך שצריך כרטיס מסך אחד של 24 גיגה בייט כמו RTX 3090 או RTX 4090 כדי לטעון אותו. אם תרצו לנצל את מלוא חלון ההקשר או לנתח תמונות רבות ברזולוציה גבוהה, תוספת הזיכרון של הקשר ה־KV תחנוק כרטיס בודד ותחייב מעבר לשני כרטיסים או הרצה על שרת עם A100 או H100.

הרצה מקומית מתבצעת ישירות דרך ספריית transformers של פייתון עם תמיכה מובנית בפורמט ההודעות והתמונות. מומלץ לקרוא ל־API מנוהל כשאתם בונים שירות שצריך לשרת משתמשים במקביל, כי מודל דחוס בגודל כזה על כרטיס צרכן בודד מייצר צוואר בקבוק של זמני תגובה תחת עומס.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="cyankiwi/gemma-4-31B-it-AWQ-4bit")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 19.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.4 GB
• model-00003-of-00004.safetensors5.4 GB
• model-00004-of-00004.safetensors4.8 GB
• tokenizer.json32.2 MB
• model.safetensors.index.json250.9 KB
• README.md28.3 KB
• config.json18.5 KB
• chat_template.jinja16.9 KB
• tokenizer_config.json2.1 KB
• processor_config.json1.7 KB
• .gitattributes1.6 KB
• generation_config.json208 B

הרישיון

המודל מופץ תחת רישיון Apache 2.0 המקורי של גוגל. הרישיון חופשי לחלוטין ומאפשר שימוש מסחרי, שינוי קוד, הפצה מחדש ושילוב במוצרים סגורים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗