gemma-4-31b-it-4bit

מה זה

מדובר בהמרה של גוגל ג'מה המיועדת לספריית MLX, עבור משימות של שילוב בין תמונה לטקסט. המודל בנוי על ארכיטקטורת Gemma4ForConditionalGeneration ומכיל מעל 31 מיליארד פרמטרים, אבל בזכות הדחיסה לארבעה ביטים המשקל שלו יורד לנפח קבצים כולל של 17.2 גיגה בייט.

הוא מסוגל לקבל תמונה והוראה כתובה, ולפלוט תשובה טקסטואלית ברצף עבודה מקומי. היתרון המשמעותי כאן הוא חלון הקשר של 262,144 טוקנים, שמאפשר להזין היסטוריה ארוכה מאוד או טקסטים נרחבים סביב התמונות, בלי להיחנק ממגבלות זיכרון של מודלים קטנים יותר מהדורות הקודמים.

מתאים ל

• ניתוח מסמכים ותמונות

  קריאת תוכן מתוך צילומים מקומיים יחד עם הנחיות מורכבות, בלי לשלוח את המידע לשרתים חיצוניים.

• תיאור תמונות אוטומטי

  יצירת כיתובים ותיאורים מפורטים לקובצי מדיה מתוך סקריפט מקומי בעזרת פקודה פשוטה בטרמינל.

• פיתוח יישומי ראייה למק

  בניית אפליקציות שרצות על חומרת אפל ומשתמשות בספריית MLX כדי לקבל תגובות ראייה וטקסט ישירות מהמכשיר.

איפה זה נופל

כרטיס המודל מינימליסטי מאוד ולא חושף מבחני ביצועים, מדדי שגיאה או פירוט לגבי שפות נתמכות. הדחיסה לארבעה ביטים תמיד גובה מחיר מסוים באיכות הדיוק של התשובות ובהבנת פרטים קטנים בתמונות מורכבות. חובה לבדוק אותו עצמאית מול תמונות אמיתיות מהמוצר שלכם, במיוחד אם אתם בונים על עברית, לפני שמסתמכים עליו.

אותה משפחה

gemma-4 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מתקינים את חבילת mlx-vlm בפייתון, ומפעילים את פקודת mlx_vlm.generate עם הנתיב לתמונה, הטמפרטורה וכמות הטוקנים המבוקשת. ההרצה דורשת מחשב מק עם מעבד אפל סיליקון וזיכרון אחוד שיכול להחזיק קבצים של 17.2 גיגה בייט לצד מערכת ההפעלה ופעולת המודל.

אם אין לכם חומרה כזו של אפל, אין טעם לנסות להריץ את קובצי ה־MLX האלה. במקרה שאין ברשותכם את המחשב המתאים, עדיף לפנות למודל המקורי דרך שירות ענן או API חיצוני במקום לנסות להסב אותו ידנית לסביבות אחרות.

pip install -U huggingface_hub
hf download mlx-community/gemma-4-31b-it-4bit

הקבצים

13 קבצים במאגר, 17.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.4 GB
• model-00001-of-00004.safetensors5.4 GB
• model-00002-of-00004.safetensors5.4 GB
• model-00004-of-00004.safetensors2.3 GB
• tokenizer.json32.2 MB
• model.safetensors.index.json205.4 KB
• chat_template.jinja17.5 KB
• config.json6.0 KB
• tokenizer_config.json2.7 KB
• .gitattributes1.6 KB
• processor_config.json1.3 KB
• README.md733 B
• generation_config.json208 B

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי מלא. מותר לשנות את הקוד, לשלב אותו במוצרים פנימיים או מסחריים ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים ותנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗