lmstudio-community/gemma-3-12b-it-GGUF

קוד פתוח

lmstudio-communitygemma2025-03-12

gguf
image-text-to-text
endpoints_compatible
conversational

גרסה מכווצת של גוגל שמשלבת קריאת תמונות והבנת טקסט ארוך. מתאים למי שרוצה להריץ לוקאלית מודל מולטימודלי בלי להחזיק שרת יקר.

34.3 GBמשקל הקבצים
24,689הורדות בחודש
45לייקים

מה זה

מדובר במודל שפותח במקור על ידי גוגל, עבר המרה לפורמט GGUF בידי bartowski, ומיועד למשימות משולבות של תמונה וטקסט. המודל יודע לקבל תמונות ברזולוציה מותאמת של 896 על 896 פיקסלים, לצד טקסט, ולעבד אותן יחד. הוא מטפל ביצירת טקסט, סיכום, מענה לשאלות והסקה לוגית, בלי שתצטרכו לשלוח מידע החוצה לענן.

היתרון המרכזי כאן מול מודלים אחרים בקטגוריית גודל הביניים הוא שילוב היכולות הוויזואליות עם חלון הקשר עצום של 128 אלף טוקנים. זה אומר שאפשר להזין מסמכים ארוכים או שיחות ממושכות יחד עם תמונות בלי לאבד את ההקשר, ולייצר פלט שמגיע עד 8,192 טוקנים ברצף. זה נותן מענה מצוין למי שמחפש עבודה עצמאית על המחשב עם משימות מורכבות יותר מסתם צ'אט בסיסי.

מתאים ל

ניתוח תמונות ומסמכים
קריאת תמונות ברזולוציה מותאמת יחד עם טקסט, ישירות מהמחשב המקומי.
סיכום טקסטים ארוכים
תמיכה בחלון הקשר של 128k טוקנים מאפשרת לעבד ספרים ודוחות מלאים.
מענה לשאלות מורכבות
יכולת פלט של עד 8,192 טוקנים מתאימה לתשובות מפורטות ומנומקות.

איפה זה נופל

התמונות עוברות נרמול לרזולוציה קבועה של 896 על 896 פיקסלים בלבד. אם יש לכם מסמכים עם טקסט זעיר, תרשימים צפופים או פרטים קטנים מדי, המודל עלול לפספס אותם או להמציא מידע. בנוסף, ההרצה דורשת גרסת בטא חדשה מאוד של llama.cpp, מה שיכול ליצור בעיות יציבות ותאימות בסביבות עבודה קיימות.

אותה משפחה

gemma-3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

lmstudio-community/gemma-3-27b-it-GGUF7,705

שאלות
נפוצות

האם המודל ירוץ לי על כל גרסה של llama.cpp?

לא. הכרטיס מציין במפורש שדרושה גרסת runtime v1.19.0 לפחות, שנמצאת כרגע בבטא. גרסאות ישנות יותר לא יפעילו את הקובץ.

האם אפשר לשלוח לו תמונות באיכות גבוהה?

המודל מנרמל את כל התמונות לגודל של 896 על 896 פיקסלים. אפשר לשלוח קבצים גדולים, אבל המערכת תתאים אותם לגודל הזה לפני העיבוד.

איך מריצים

כדי להריץ אותו תצטרכו את llama.cpp בגרסת v1.19.0 ומעלה, שנמצאת בבטא, או כלי תואם כמו LM Studio שתומך בעדכון הזה. כל הקבצים שוקלים יחד 34.3 ג'יגה בייט, כך שצריך מקום פנוי בדיסק וכרטיס מסך עם זיכרון וידאו מכובד, או שילוב של זיכרון מערכת מהיר אם מריצים חלק על המעבד.

אם אין לכם חומרה ייעודית עם מספיק זיכרון להחזיק מודל של 12b וחלון הקשר מלא, עדיף להשתמש ב־API חיצוני. הרצה של חלון מלא של 128 אלף טוקנים תחנוק מחשב אישי רגיל ותגרום לזמני תגובה איטיים מאוד.

ollama run hf.co/lmstudio-community/gemma-3-12b-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_012.5 GB Q6_K9.7 GB Q4_K_M7.3 GB Q3_K_L6.5 GB F16854.2 MB

הקבצים

7 קבצים במאגר, 34.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון gemma של גוגל. מותר להשתמש בו בחינם, אבל יש תנאי שימוש והגבלות הפצה שמחייבים עמידה בהנחיות השימוש ההוגן והבטיחות של גוגל. אם אתם בונים מוצר מסחרי, חובה לקרוא את התנאים המלאים של הרישיון כדי לוודא שהשימוש שלכם מותר.

שימוש מסחרי
שינוי הקוד
כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗