gemma-3-27b-it-GGUF

קוד פתוח

unslothgemma2025-03-12

transformers
gguf
gemma3
image-text-to-text
unsloth

גרסת GGUF של המודל הרב-מודאלי מבית גוגל בגודל 27 מיליארד פרמטרים. מתאים למי שרוצה יכולות ראייה וטקסט מקומיות עם חלון של 128 אלף טוקנים בלי תלות בשרתים חיצוניים.

131,072טוקנים בהקשר
416 GBמשקל הקבצים
35,169הורדות בחודש
206לייקים

מה זה

מדובר במודל שפותח במקור בגוגל על בסיס המחקר של ג׳מיני, וכאן הוא מוגש בפורמט GGUF על ידי unsloth. המודל מקבל טקסט ותמונות ומחזיר טקסט, כאשר תמונות מומרות ברזולוציה של 896 על 896 לתוך 256 טוקנים. הוא אומן על 14 טריליון טוקנים וכולל חלון קלט של 128 אלף טוקנים עם פלט של עד 8,192 טוקנים.

במבחני הביצועים הוא מציג יכולות חזקות ביחס לגודל שלו. הוא קיבל 85.6 במבחן DocVQA להבנת מסמכים וסריקות, 78.6 במבחן הידע MMLU, ו־82.6 בפתרון בעיות מתמטיות ב־GSM8K. עם זאת, במבחני תכנות מורכבים כמו HumanEval הוא נעצר על 48.8, ובמבחן ההיגיון המדעי GPQA הגיע ל־24.3 בלבד, מה שמראה גבול ברור במשימות חשיבה עמוקות.

מתאים ל

ניתוח מסמכים וגרפים
תוצאה של 85.6 ב־DocVQA ו־76.3 ב־ChartQA מאפשרת חילוץ נתונים אמין מדוחות.
עיבוד טקסטים ארוכים
תמיכה ב־128 אלף טוקנים מאפשרת לתמצת ספרים ומסמכים מרובי עמודים מקומית.
פתרון בעיות כמותיות
ציון של 82.6 ב־GSM8K מספק מענה טוב לשאלות חישוביות ומתמטיקה יישומית.

איפה זה נופל

היוצרים מודים שהמודל מתקשה בהבנת שפה מורכבת, סרקזם ומשמעויות עקיפות. הוא נוטה לייצר שגיאות עובדתיות ומציג ביצועים חלשים במיוחד במבחני קידוד, עם 48.8 בלבד ב־HumanEval. בנוסף, כל מבחני הבטיחות וההערכה של גוגל נעשו באנגלית בלבד, כך שבדיקת התנהגותו בשפות אחרות מוטלת לחלוטין עליכם לפני שילובו במערכת אמיתית.

אותה משפחה

gemma-3 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gemma-3-4b-it-GGUF81,635 gemma-3-270m-it-GGUF77,884 gemma-3-12b-it-GGUF60,504 unsloth/gemma-3-1b-it-GGUF38,165 gemma-3-12b-it-bnb-4bit5,934

שאלות
נפוצות

האם המודל מבין תמונות בעברית?

האימון כלל מעל 140 שפות, אך המאגר מוגדר רשמית לאנגלית ומבחני הבטיחות נערכו באנגלית בלבד. בפועל הוא עשוי לזהות טקסט בעברית, אך נדרשת בדיקה עצמאית של איכות הפלט.

איזו חומרה מינימלית נדרשת להרצה?

בשל גודל של 27 מיליארד פרמטרים, תצטרכו כרטיס מסך עם לפחות 24 גיגה-בייט זיכרון גרפי עבור גרסה מכומתת היטב, ועוד יותר מכך אם תרצו לנצל הקשר ארוך.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע ל־416 גיגה-בייט שמחולקים בין 36 קבצים עבור רמות כימות שונות. כדי להריץ את גרסת ה־27B בצורה סבירה תצטרכו כרטיס מסך חזק עם לפחות 24 גיגה זיכרון וידאו עבור כימות אגרסיבי, או מערך של כמה כרטיסים אם אתם מכוונים לדיוק גבוה יותר ולניצול מלא של חלון ההקשר.

ההרצה מתבצעת דרך סביבות תומכות GGUF כמו llama.cpp או כלים שמבוססים עליו. אם אין לכם גישה לשרת עם זיכרון ייעודי מתאים, הניסיון לדחוף הקשר של עשרות אלפי טוקנים למעבד מקומי יהיה איטי להחריד, ובמקרה כזה עדיף לצרוך את המודל דרך ענן.

ollama run hf.co/unsloth/gemma-3-27b-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

36 קבצים במאגר, 416 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון ייעודי של משפחת gemma. הרישיון מאפשר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש וההגבלות שהגדירה גוגל, כולל איסור על שימושים פוגעניים מסוימים. חובה לעיין במסמך התנאים של gemma לפני הפצה במוצר.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗