gemma-3-270m-it-GGUF

מה זה

גוגל אימנו את המודל הזה על 6 טריליון טוקנים עם חלון הקשר של 32K, והוא מגיע מכוונן לפקודות בפורמט שמתאים לספריות הרצה מקומיות. הוא פותח במקור כחלק ממשפחת מודלים מולטימודלית שכוללת תמיכה בלמעלה מ־140 שפות, אם כי בגודל הזה מדובר במודל שמתמקד בטקסט בלבד.

במדדי ביצועים הוא משיג 51.2 בציות להוראות ו־26.7 במבחני חשיבה קשים. המשמעות ברורה. הוא לא יפתור בעיות לוגיות סבוכות ולא ינתח מסמכים משפטיים מורכבים. לעומת זאת, למשימות ממוקדות כמו מיון טקסט, תיוג או ניסוח תבניות פשוטות, הוא נותן מענה יעיל בגודל פיזי מינימלי.

מתאים ל

• סיווג טקסטים מהיר

  זיהוי כוונות וקטגוריות קצרות על גבי מעבד מקומי בלי תלות ברשת.

• מערכות קצה וסלולר

  הרצה מקומית על מכשירים בעלי זיכרון מוגבל בלי עלויות שרת.

• מילוי תבניות וטפסים

  חילוץ נתונים מובנים ופשוטים מתוך פניות קצרות של משתמשים.

איפה זה נופל

הגודל הזעיר גובה מחיר כבד ביכולות. המודל קיבל ציון של 26.7 בלבד ב־BIG-Bench Hard ו־28.2 ב־ARC-c, כך שאי אפשר להסתמך עליו בפתרון בעיות, הסקת מסקנות או ידע כללי מעמיק. בניגוד לגרסאות הגדולות בסדרה, הגרסה הזו מוגבלת ל־32K טוקנים ואינה תומכת בקלט של תמונות. הוא דורש בדיקה קפדנית של הזיות וטעויות ניסוח לפני שמשלבים אותו בזרימת עבודה.

אותה משפחה

gemma-3 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מופץ בפורמט GGUF, מה שאומר שאפשר להריץ אותו ישירות על מעבד רגיל, טלפונים ניידים או שרתים זולים בלי כרטיס גרפי ייעודי. סך כל הקבצים במאגר שוקל 5.9 ג'יגה בייט ב־29 קבצים, והוא דורש זיכרון עבודה נמוך מאוד ביחס למודלים גדולים.

היוצרים ממליצים להריץ אותו עם הגדרות ספציפיות: טמפרטורה 1.0, ערך top_k של 64, ו־top_p של 0.95. אם המטרה שלכם היא משימות חשיבה מורכבות או קוד, חבל על זמן ההתעסקות בהרצה עצמית וכדאי לפנות ישירות ל־API של מודלים גדולים יותר.

ollama run hf.co/unsloth/gemma-3-270m-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 5.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-3-270m-it-F16.gguf542.8 MB
• gemma-3-270m-it-UD-Q8_K_XL.gguf471.1 MB
• gemma-3-270m-it-Q8_0.gguf291.5 MB
• gemma-3-270m-it-UD-Q6_K_XL.gguf286.1 MB
• gemma-3-270m-it-Q6_K.gguf283.0 MB
• gemma-3-270m-it-Q5_K_M.gguf260.0 MB
• gemma-3-270m-it-UD-Q5_K_XL.gguf260.0 MB
• gemma-3-270m-it-Q5_K_S.gguf258.0 MB
• gemma-3-270m-it-UD-Q4_K_XL.gguf253.9 MB
• gemma-3-270m-it-Q4_K_M.gguf253.1 MB
• gemma-3-270m-it-Q4_K_S.gguf249.9 MB
• gemma-3-270m-it-Q4_1.gguf247.7 MB
• gemma-3-270m-it-UD-Q3_K_XL.gguf242.6 MB
• gemma-3-270m-it-IQ4_NL.gguf242.0 MB
• gemma-3-270m-it-Q3_K_M.gguf242.0 MB
• gemma-3-270m-it-Q4_0.gguf241.6 MB
• gemma-3-270m-it-IQ4_XS.gguf240.9 MB
• gemma-3-270m-it-UD-Q2_K_XL.gguf237.7 MB
• gemma-3-270m-it-Q2_K.gguf237.1 MB
• gemma-3-270m-it-Q2_K_L.gguf237.1 MB
• gemma-3-270m-it-Q3_K_S.gguf236.7 MB
• gemma-3-270m-it-UD-IQ3_XXS.gguf184.5 MB
• gemma-3-270m-it-UD-IQ2_M.gguf182.8 MB
• gemma-3-270m-it-UD-IQ2_XXS.gguf180.1 MB
• imatrix_unsloth.gguf_file471.0 KB
• README.md37.6 KB
• .gitattributes2.8 KB
• template476 B
• params202 B

הרישיון

השימוש כפוף לתנאי הרישיון של משפחת Gemma. מותר להשתמש בו לצרכים מחקריים ומסחריים, אך יש לציית למדיניות השימוש והבטיחות שהוגדרה על ידי גוגל DeepMind.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗