gemma-4-12B-it-OptiQ-4bit

מה זה

מדובר בהמרה של המודל האחוד של גוגל שמיועדת לספריית MLX, אבל היא מטפלת בטקסט בלבד. רכיבי התמונה והאודיו המקוריים הוסרו בתהליך, כך שנשארתם רק עם מנוע שפה וחשיבה.

במקום לקווץ את כל השכבות באותה צורה, השתמשו בכיול שמשאיר 156 שכבות רגישות ב־8 ביט ומוריד 172 שכבות עמידות ל־4 ביט, עם ממוצע של 5.22 ביט למשקל. במבחנים זה מורגש בעיקר בקוד ובשליפת מידע מהקשר ארוך, שם נמדדו קפיצות ביצועים של מעל עשרה אחוזים לעומת קיווץ אחיד של 4 ביט. מצד שני, קריאות לפונקציות לא מראות שום שיפור, והתוספת בדיוק עולה בשני גיגה-בייט נוספים בדיסק.

מתאים ל

• פיתוח וכתיבת קוד מקומית

  משיג 88.4 אחוזים בבדיקות קוד ומתאים למי שרוצה השלמות ופתרון תקלות מקומי בלי לשלוח שורות קוד לענן.

• ניתוח מסמכים ארוכים

  חלון הקשר של 131,072 טוקנים עם שיפור מוכח בשליפת מידע לעומת קיווץ בסיסי.

• משימות חשיבה והסקה

  כולל ערוץ חשיבה מובנה שעוזר לו להגיע ליותר מ־93 אחוזים בבעיות היגיון ומתמטיקה.

איפה זה נופל

החיסרון המרכזי הוא הוויתור על יכולות המולטימדיה. אם הורדתם את גרסת הבסיס מתוך מחשבה לנתח צילומי מסך או קבצי קול, ההמרה הזו חתכה אותם לחלוטין. בנוסף, בבנצ'מרק MMLU המודל קיבל 42.6 אחוזים בלבד, והתוצאות בקריאות לפונקציות לא השתפרו כלל לעומת קיווץ רגיל. בעבודה עם משימות פשוטות כמו מיון או חילוץ מידע צריך לכבות ידנית את ערוץ החשיבה, אחרת הוא יבזבז זמן וטוקנים על שלבי מחשבה מיותרים.

איך מריצים

המודל תופס 8.4 גיגה-בייט על הדיסק, כך שהוא דורש מק עם מעבד של אפל וזיכרון אחוד שמשאיר מקום סביר למשקלים ול־KV cache של ההקשר. אי אפשר להריץ אותו עם גרסת PyPI הרגילה של mlx-lm, אלא חייבים להתקין אותה ישירות מהמאגר בגיטהאב יחד עם חבילת mlx-optiq כדי לרשום את סוג המודל.

אם יש לכם מחשב עם 16 גיגה זיכרון לפחות וצריך להריץ משימות פיתוח מקומיות בלי תלות ברשת, שווה להריץ אותו אצלכם. אם אתם עובדים על מחשב אינטל, לינוקס, או צריכים לטפל באודיו ותמונה, עדיף לפנות ישירות ל־API של המודל המקורי.

pip install -U huggingface_hub
hf download mlx-community/gemma-4-12B-it-OptiQ-4bit

הקבצים

13 קבצים במאגר, 8.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.3 GB
• model-00002-of-00002.safetensors3.5 GB
• optiq/optiq_vision.safetensors104.8 MB
• tokenizer.json32.2 MB
• model.safetensors.index.json129.5 KB
• config.json72.0 KB
• optiq_metadata.json33.8 KB
• chat_template.jinja18.7 KB
• README.md6.0 KB
• kv_config.json3.2 KB
• tokenizer_config.json2.8 KB
• .gitattributes1.6 KB
• generation_config.json260 B

הרישיון

הפרויקט כפוף לרישיון של משפחת Gemma של גוגל, שעובר בירושה ממודל הבסיס. הרישיון מאפשר שימוש מסחרי, אבל מחייב עמידה בתנאי השימוש ובהגבלות הייעוד של גוגל. מי שמתכנן להפיץ אותו כחלק ממוצר צריך לוודא שהשימוש תואם את המדיניות הזו.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗