gemma-4-E2B-it-GGUF

מה זה

מדובר בגרסת GGUF של המודל הקטן ביותר בסדרת Gemma 4. יש לו 2.3 מיליארד פרמטרים אפקטיביים אך 5.1 מיליארד בסך הכל בגלל שימוש בטבלאות הטמעה פר שכבה, מבנה שנועד לחסוך חישוב בזמן ריצה מקומית. להבדיל מהגדלים הגדולים בסדרה, הגרסה הזו כוללת מקודד שמע מובנה של כ־300 מיליון פרמטרים ומקודד ראייה של כ־150 מיליון, כך שהיא קולטת ישירות הקלטות קול לצד תמונות ווידאו ומחזירה טקסט.

במבחני הביצועים רואים היטב את הפשרות של הגודל. הוא משיג 60.0% ב־MMLU Pro ו־44.0% ב־LiveCodeBench v6, שיפור ברור מול מודלים ישנים אבל רחוק מביצועי הגרסאות הגדולות של המשפחה. במשימות שמע הוא מציג מדד FLEURS של 0.09, מה שמעיד על יכולת תמלול שמישה לגמרי בגודל מזערי.

מתאים ל

• תמלול שמע קצר ומקומי

  זיהוי דיבור ותרגום מהיר מקובצי קול באורך של עד 30 שניות ישירות על מכשירי קצה ללא שליחה לשרת.

• ניתוח תמונות בסיסי

  זיהוי אובייקטים, חילוץ טקסט מתמונות ומענה על שאלות ויזואליות עם תקציב טוקנים גמיש לצריכת משאבים נמוכה.

• סוכן מקומי להפעלת כלים

  הרצת פקודות וקריאת פונקציות פשוטות במחשבים אישיים עם תמיכה מובנית בהגדרת תפקיד מערכת.

איפה זה נופל

הנקודה החלשה ביותר היא היכולת במשימות חשיבה מורכבות וקוד, שם הוא מגיע ל־44% בלבד ב־LiveCodeBench v6 וציון של 633 בלבד ב־Codeforces ELO. מעבר לכך, במבחן שליפת מידע מהקשר ארוך של 128 אלף טוקנים הוא מגיע לדיוק נמוך של 19.1% בלבד, כך שלא כדאי לסמוך עליו לתמצות מסמכי ענק. השמע מוגבל להקלטות של עד 30 שניות, והווידאו מוגבל ל־60 שניות בקצב של פריים בודד לשנייה.

איך מריצים

המשקל הכולל של כלל קובצי ה־GGUF במאגר עומד על 75.2 גיגה בייט, אך בפועל מורידים רק קובץ כימות אחד לפי הצורך. המודל מבוסס על llama.cpp ורץ בתוך ספריות כמו Unsloth או ישירות בכלים מקומיים תומכים. בזכות מבנה של 2.3 מיליארד פרמטרים פעילים, קובץ מכויל יחיד ידרוש בדרך כלל זיכרון VRAM או RAM של פחות מ־8 גיגה בייט, מה שמאפשר להריץ אותו בקלות על לפטופים פשוטים או מאיצים גרפיים ביתיים זולים.

אם אתם צריכים לנתח הקשרים ארוכים במיוחד או זקוקים לקוד מורכב ביותר, עדיף לפנות ל־API של מודל ענן גדול. המודל המקומי הזה מיועד בעיקר למי שחייב עבודה אופליין, שמירה על פרטיות מלאה או עלויות אפסיות פר קריאה.

ollama run hf.co/unsloth/gemma-4-E2B-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 75.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-E2B-it-BF16.gguf9.3 GB
• gemma-4-E2B-it-UD-Q8_K_XL.gguf5.3 GB
• gemma-4-E2B-it-Q8_0.gguf5.0 GB
• gemma-4-E2B-it-UD-Q6_K_XL.gguf4.7 GB
• gemma-4-E2B-it-Q6_K.gguf4.5 GB
• gemma-4-E2B-it-UD-Q5_K_XL.gguf4.3 GB
• gemma-4-E2B-it-Q5_K_M.gguf3.4 GB
• gemma-4-E2B-it-Q5_K_S.gguf3.3 GB
• gemma-4-E2B-it-UD-Q4_K_XL.gguf3.2 GB
• gemma-4-E2B-it-Q4_1.gguf3.2 GB
• gemma-4-E2B-it-Q4_K_M.gguf3.1 GB
• gemma-4-E2B-it-Q4_K_S.gguf3.0 GB
• gemma-4-E2B-it-Q4_0.gguf3.0 GB
• gemma-4-E2B-it-IQ4_NL.gguf3.0 GB
• gemma-4-E2B-it-IQ4_XS.gguf3.0 GB
• gemma-4-E2B-it-UD-Q3_K_XL.gguf2.9 GB
• gemma-4-E2B-it-Q3_K_M.gguf2.5 GB
• gemma-4-E2B-it-Q3_K_S.gguf2.4 GB
• gemma-4-E2B-it-UD-Q2_K_XL.gguf2.4 GB
• gemma-4-E2B-it-UD-IQ3_XXS.gguf2.4 GB
• gemma-4-E2B-it-UD-IQ2_M.gguf2.3 GB
• mmproj-F32.gguf1.9 GB
• mmproj-BF16.gguf986.8 MB
• mmproj-F16.gguf985.7 MB
• MTP/mtp-gemma-4-E2B-it-BF16.gguf170.2 MB
• MTP/mtp-gemma-4-E2B-it-F16.gguf170.2 MB
• MTP/mtp-gemma-4-E2B-it-Q8_0.gguf97.8 MB
• mtp-gemma-4-E2B-it.gguf97.8 MB
• imatrix_unsloth.gguf_file2.8 MB
• README.md28.5 KB
• config.json5.0 KB
• .gitattributes3.9 KB
• MTP/README.md2.1 KB

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולהטמיע אותו במוצרים פנימיים או חיצוניים בלי תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗