gemma-3-4b-it-GGUF

קוד פתוח

unslothgemma2025-03-12

transformers
gguf
gemma3
image-text-to-text
unsloth

גרסת GGUF מכווצת של המודל הקטן מבית גוגל, שמשלב עיבוד תמונה וטקסט עם חלון של 128 אלף טוקנים. פתרון מתאים למי שרוצה יכולות ראייה ממוחשבת מקומיות בלי להחזיק שרת יקר.

131,072טוקנים בהקשר
66.2 GBמשקל הקבצים
81,635הורדות בחודש
204לייקים

מה זה

גוגל שחררו את סדרת Gemma 3 כמודלים מולטימודליים שמסוגלים לקבל גם תמונות וגם טקסט, ולהחזיר תשובה טקסטואלית. הדגם הזה, בגודל ארבעה מיליארד פרמטרים, אומן על ארבעה טריליון טוקנים וכולל חלון הקשר נדיב של 128 אלף טוקנים. תמונות נדחסות בו לרזולוציה של 896 על 896 ומקבלות ייצוג קבוע של 256 טוקנים בלבד, מה שמשאיר המון מקום בזיכרון לשאלות מורכבות ולטקסט רקע ארוך.

במבחני ביצועים רואים בבירור את הפשרות של הגודל. במשימות מסמכים כמו DocVQA הוא מגיע לציון של 72.8, ובמבחני תרשימים כמו ChartQA הוא רושם 63.6, שזה שימושי מאוד לחילוץ מידע בסיסי. מנגד, במשימות תכנות וחשיבה מתמטית הוא מתקשה, עם 36.0 בלבד ב־HumanEval ו־38.4 ב־GSM8K. הוא מיועד בעיקר להבנת תמונות ושיחה פשוטה, לא לכתיבת קוד כבד.

מתאים ל

חילוץ נתונים מקבלות ומסמכים
מפענח תמונות של טפסים ומסמכים סרוקים ישירות לטקסט עם ציון של 72.8 במבחן DocVQA.
בוט שיחה מקומי למחשב נייד
עובד בצורה חלקה על חומרה ביתית צנועה בזכות הכימות של unsloth וגודל 4B חסכוני.
ניתוח גרפים ותרשימים
מסביר ויזואליזציות של נתונים ומחלץ ערכים מתרשימים פשוטים בצורה טובה.

איפה זה נופל

המודל הזה לא נועד למשימות חשיבה מורכבות או פיתוח תוכנה. מבחני הבנצ'מרק חושפים חולשה משמעותית בספירת עצמים, עם 26.1 בלבד ב־CountBenchQA, כך שאי אפשר לסמוך עליו בספירת פריטים בתמונה. בנוסף, גוגל מצהירים שהערכות הבטיחות שלהם נבדקו רק על הנחיות באנגלית, והוא נוטה להזיות בעובדות מורכבות או בניתוח סרקזם ושפה מרומזת.

אותה משפחה

gemma-3 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-270m-it-GGUF77,884 gemma-3-12b-it-GGUF60,504 unsloth/gemma-3-1b-it-GGUF38,165 gemma-3-27b-it-GGUF35,169 gemma-3-12b-it-bnb-4bit5,934

שאלות
נפוצות

האם אני צריך להוריד את כל 66 הגיגה שמופיעים בעמוד?

לא. הדף כולל מגוון רחב של גרסאות מכוילות וקבצי GGUF שונים. אתם בוחרים ומורידים רק את הקובץ הספציפי שמתאים לרמת הדיוק ולזיכרון הפנוי שלכם.

האם המודל מתאים לפיתוח וכתיבת קוד?

לא מומלץ. התוצאה שלו ב־HumanEval היא 36 אחוזים בלבד, מה שמראה על יכולת קידוד נמוכה למדי. למשימות קוד עדיף להשתמש במודלים ייעודיים לתכנות.

איך מריצים

המאגר של unsloth שוקל מעל 66 גיגה־בייט ומכיל 35 קבצים, מפני שהוא כולל כמה רמות כימות שונות בפורמט GGUF. אתם לא מורידים את כל התיקייה אלא בוחרים קובץ כימות בודד, כמו קובץ 4 ביט או 8 ביט, לפי כמות הזיכרון שיש לכם. קובץ בודד כזה ירוץ בקלות על מעבד מחשב נייד או כרטיס מסך ביתי צנוע עם 6 עד 8 גיגה זיכרון.

כדי להריץ אותו משתמשים בכלים שתומכים בפורמט, כמו llama.cpp או Ollama, בהתאם למדריכים ש־unsloth מצרפים. אם אתם צריכים לפענח תמונות בודדות מדי פעם ואין לכם עניין בתחזוקת שרתים מקומיים, יהיה זול ופשוט יותר לשלוח קריאה ישירה ל־API של גוגל ב־Vertex AI.

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

35 קבצים במאגר, 66.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

השימוש כפוף לרישיון הייעודי של גemma. הוא מתיר שימוש מסחרי חופשי, אך דורש עמידה במדיניות השימושים האסורים של גוגל, שמגבילה יישומים פוגעניים או מסוכנים. יש לקרוא את התנאים הרשמיים לפני שילוב המודל במוצר חי.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗