unsloth/gemma-3-1b-it-GGUF

מה זה

גוגל אימנה את הדגם הזה על 2 טריליון טוקנים, והוא מיועד למשימות טקסט ועיבוד תמונה כשמשאבי המחשוב מוגבלים לחלוטין. הוא מקבל קלט טקסטואלי לצד תמונות ברזולוציה של 896 על 896 פיקסלים שמקודדות למאתיים חמישים ושישה טוקנים, ומחזיר פלט של עד 8,192 טוקנים. אנשלות' ארזה אותו מחדש בפורמט שמתאים להרצה מיידית בכלים מקומיים כמו llama.cpp.

התוצאות במבחנים מסבירות בדיוק מה מקבלים: בבדיקות ידע כללי ושאלות עובדתיות פשוטות כמו BoolQ או ARC-e הוא עומד על מעל 63 ו־73 נקודות, שזה שימושי לשליפה בסיסית. מצד שני, במבחני שליפה מורכבים כמו Natural Questions הוא צולל ל־9.48 נקודות, ובמבחן החשיבה הרב־שלבי BIG-Bench Hard הוא מגרד 28.4 בלבד. הוא לא מחליף מודלים גדולים, אלא מספק מענה פשוט כשאין מקום לשום דבר אחר.

מתאים ל

• חילוץ נתונים מתמונות פשוטות

  קריאת מסמכים ותמונות ברזולוציה של 896 על 896 ועיבוד המידע למבנה טקסטואלי מקומי.

• סיכום טקסטים קצרים וממוקדים

  תמצות פסקאות ודוחות על מחשב קצה בלי לשלוח נתונים החוצה ובלי דרישות חומרה גבוהות.

• סיווג טקסטים מהיר

  מיון פניות וזיהוי כוונות משתמש כשהתשובות מוגדרות מראש ולא נדרש ניתוח לוגי עמוק.

איפה זה נופל

החולשה העיקרית היא היגיון מתמטי ומשימות רב־לשוניות. במבחן המתמטי הרב־לשוני MGSM המודל קיבל ציון של 2.04 בלבד, מה שאומר שהוא נכשל לחלוטין בחישובים מילוליים מחוץ לאנגלית נקייה. בנוסף, כל מבחני הבטיחות שגוגל דיווחה עליהם נערכו באנגלית בלבד. אם תפנו אליו בעברית עם בקשות מורכבות, הסיכוי להזיות או לחוסר הבנה מוחלט של שאלות עובדתיות גבוה מאוד, וחייבים לבדוק אותו היטב לפני שסומכים עליו בתהליך אוטומטי.

אותה משפחה

gemma-3 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מגיע בפורמט שמיועד לריצה ישירה על מעבד רגיל או כרטיס מסך ביתי דרך ספריות כמו llama.cpp וכלים דוגמת Ollama. במקום להחזיק שרת יקר, מודל של מיליארד פרמטרים רץ בקלות על מחשב נייד מודרני בלי להרגיש עומס על הזיכרון, ואנשלות' מציעה גם מחברות גוגל קולאב להתאמה אישית.

אם אתם צריכים לוגיקה עמוקה, מתמטיקה או הבנת קוד מורכבת, אין טעם לנסות לסחוט את זה ממנו. במקרים כאלה עדיף לשלם לפי שימוש ל־API של מודל ענק כמו ג'מיני או קלוד, במקום לבזבז זמן על כוונון מודל מקומי שלא בנוי למשימה.

ollama run hf.co/unsloth/gemma-3-1b-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

31 קבצים במאגר, 20.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-3-1b-it-BF16.gguf2.0 GB
• gemma-3-1b-it-UD-Q8_K_XL.gguf1.5 GB
• gemma-3-1b-it-Q8_0.gguf1.1 GB
• gemma-3-1b-it-UD-Q6_K_XL.gguf1.0 GB
• gemma-3-1b-it-Q6_K.gguf1.0 GB
• gemma-3-1b-it-UD-Q5_K_XL.gguf874.3 MB
• gemma-3-1b-it-Q5_K_M.gguf851.3 MB
• gemma-3-1b-it-Q5_K_S.gguf836.4 MB
• gemma-3-1b-it-UD-Q4_K_XL.gguf807.0 MB
• gemma-3-1b-it-Q4_K_M.gguf806.1 MB
• gemma-3-1b-it-Q4_K_S.gguf781.0 MB
• gemma-3-1b-it-Q4_1.gguf764.0 MB
• gemma-3-1b-it-UD-Q3_K_XL.gguf726.8 MB
• gemma-3-1b-it-Q3_K_M.gguf722.4 MB
• gemma-3-1b-it-Q4_0.gguf721.9 MB
• gemma-3-1b-it-IQ4_NL.gguf721.9 MB
• gemma-3-1b-it-IQ4_XS.gguf714.4 MB
• gemma-3-1b-it-UD-Q2_K_XL.gguf693.9 MB
• gemma-3-1b-it-Q2_K.gguf689.8 MB
• gemma-3-1b-it-Q2_K_L.gguf689.8 MB
• gemma-3-1b-it-Q3_K_S.gguf688.9 MB
• gemma-3-1b-it-UD-IQ3_XXS.gguf591.6 MB
• gemma-3-1b-it-UD-IQ2_M.gguf578.0 MB
• gemma-3-1b-it-UD-IQ2_XXS.gguf564.5 MB
• gemma-3-1b-it-UD-IQ1_M.gguf559.8 MB
• gemma-3-1b-it-UD-IQ1_S.gguf557.0 MB
• imatrix_unsloth.dat1.4 MB
• README.md25.0 KB
• .gitattributes3.3 KB
• config.json907 B
• params201 B

הרישיון

השימוש כפוף לרישיון ג'מה של גוגל, שכולל גם מדיניות שימושים אסורים ספציפית. מותר להשתמש בו במוצרים מסחריים ולהפיץ אותו, אבל חייבים לעמוד בכללי הבטיחות וההגבלות שהוגדרו במסמכי השימוש של גוגל.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗