gemma-4-12b-it-GGUF

מה זה

גוגל דיפמיינד בנו פה מודל מאוחד שלא צריך מודול ראייה או שמע חיצוני. הוא מקבל פיקסלים וגלי קול ישירות לתוך שכבות הטקסט, מה שמוריד את זמן ההמתנה ומאפשר לאמן הכל במקביל. עם חלון הקשר של 256 אלף טוקנים ותמיכה מובנית בקריאות לפונקציות, הוא מתחרה ישירות בדגמים כבדים בהרבה.

במדדי ביצועים הוא עוקף את הדור הקודם בפער ניכר, עם 77.2% במבחן MMLU Pro וציון 72.0% בבדיקות קוד של LiveCodeBench. בתמונות הוא משיג 69.1% במדד MMMU Pro, כך שמדובר בכלי רציני לניתוח מסמכים וממשקים, ולא רק לשיחה פשוטה.

מתאים ל

• ניתוח מסמכים וטפסים

  קריאת קובצי PDF ותמונות ברזולוציה גמישה ודיוק גבוה במיוחד.

• תמלול ותרגום קולי

  עיבוד קובצי שמע עד חצי דקה ישירות לטקסט או לשפה אחרת.

• סוכני קוד ואוטומציה

  ביצוע משימות פיתוח וקריאה לפונקציות בזכות תמיכה מובנית בכלים.

איפה זה נופל

למרות היכולות שלו, המודל מתקשה במשימות מורכבות ללא כלים חיצוניים, ומגיע לציון של 5.2% בלבד במבחן HLE. בנוסף, יש מגבלות קשיחות על קלט מולטימודלי: שמע מוגבל ל־30 שניות בלבד, ווידאו מוגבל ל־60 שניות בקצב של פריים בודד לשנייה. צריך לבדוק אותו היטב על נתונים מקומיים לפני שסומכים עליו אוטומטית.

אותה משפחה

gemma-4 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הריפו כולל קובצי GGUF במשקל כולל של 166 גיגה בייט, שמחולקים לכימותים שונים של Unsloth. בשביל הרצה מקומית של גרסת 12 מיליארד פרמטרים בכימות ממוצע, כרטיס מסך ביתי חזק עם 12 עד 16 גיגה זיכרון יספיק לעבודה שוטפת דרך ספריות כמו llama.cpp.

אם אתם מתכננים לנצל את כל 256 אלף הטוקנים יחד עם קטעי וידאו או שמע, צריכת הזיכרון תקפוץ בצורה חדה. במקרים של עומס גבוה בייצור או חוסר בחומרה ייעודית, עדיף לפנות לשרת ענן או לשירות מנוהל.

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 166 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-12b-it-BF16.gguf23.8 GB
• gemma-4-12b-it-UD-Q8_K_XL.gguf13.6 GB
• gemma-4-12b-it-Q8_0.gguf12.7 GB
• gemma-4-12b-it-UD-Q6_K_XL.gguf10.7 GB
• gemma-4-12b-it-Q6_K.gguf9.8 GB
• gemma-4-12b-it-UD-Q5_K_XL.gguf8.6 GB
• gemma-4-12b-it-Q5_K_M.gguf8.4 GB
• gemma-4-12b-it-Q5_K_S.gguf8.2 GB
• gemma-4-12b-it-Q4_1.gguf7.4 GB
• gemma-4-12b-it-UD-Q4_K_XL.gguf7.4 GB
• gemma-4-12b-it-Q4_K_M.gguf7.1 GB
• gemma-4-12b-it-Q4_K_S.gguf6.8 GB
• gemma-4-12b-it-Q4_0.gguf6.7 GB
• gemma-4-12b-it-IQ4_NL.gguf6.7 GB
• gemma-4-12b-it-IQ4_XS.gguf6.4 GB
• gemma-4-12b-it-UD-Q3_K_XL.gguf6.0 GB
• gemma-4-12b-it-Q3_K_M.gguf5.7 GB
• gemma-4-12b-it-Q3_K_S.gguf5.1 GB
• gemma-4-12b-it-UD-Q2_K_XL.gguf4.7 GB
• gemma-4-12b-it-UD-IQ3_XXS.gguf4.6 GB
• gemma-4-12b-it-UD-IQ2_M.gguf4.2 GB
• MTP/mtp-gemma-4-12b-it-BF16.gguf861.5 MB
• MTP/mtp-gemma-4-12b-it-F16.gguf861.5 MB
• MTP/mtp-gemma-4-12b-it-Q8_0.gguf465.1 MB
• mtp-gemma-4-12b-it.gguf465.1 MB
• mmproj-F32.gguf209.5 MB
• mmproj-BF16.gguf175.1 MB
• mmproj-F16.gguf175.1 MB
• imatrix_unsloth.gguf_file7.5 MB
• README.md31.6 KB
• .gitattributes4.3 KB
• MTP/README.md2.1 KB

הרישיון

רישיון Apache 2.0 מלא ופתוח. מותר להשתמש בו לצרכים מסחריים, להטמיע בתוך מוצרים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗