bartowski/gemma-4-12B-it-GGUF

מה זה

מדובר במודל רב מודלי של גוגל שעבר המרה וכימוס בשיטת imatrix על ידי המשתמש bartowski באמצעות llama.cpp. המודל מסווג למשימות תמונה לטקסט וטקסט לטקסט, ומגיע בתבנית שיחה מוגדרת שכוללת תגיות מערכת, משתמש, וערוץ מחשבה מובנה של המודל.

הייחוד כאן הוא המגוון הרחב של גרסאות הכימוס, החל מגרסת bf16 מלאה בגודל 23.83GB ועד כימוסי 2 ביט קיצוניים שיורדים ל־4.71GB. ברמות הביניים, חלק מהגרסאות כמו Q4_K_L שומרות על משקולות הפלט וההטמעה באיכות גבוהה יותר של Q8_0 כדי למזער פגיעה באיכות התוכן בלי לנפח את שאר המודל.

מתאים ל

• ניתוח מסמכים ותמונות מקומי

  מאפשר לחלץ מידע מתמונות ומסמכים סרוקים ישירות על המחשב ללא שליחת מידע רגיש לענן.

• עוזר פיתוח מקומי מבוסס שיחה

  מנצל את מבנה הפרומפט המובנה ותגיות המחשבה כדי לענות על שאלות קוד ולתכנן פתרונות.

• הרצה על חומרת קצה מוגבלת

  גרסאות ה־IQ4 וה־Q4 מאפשרות לשלב את המודל במחשבים אישיים עם כרטיס מסך בודד או מעבדי ARM.

איפה זה נופל

הקובץ המקורי מכווץ כאן בצורה אגרסיבית, ובגרסאות הנמוכות מ־Q4, במיוחד בגרסאות ה־2 ביט, יש ירידה מורגשת באיכות הפלט והכרטיס עצמו מציין שהן מיועדות בעיקר למצבי מחסור קיצוני בזיכרון. בנוסף, אם הכלי שבו אתם משתמשים לא מעודכן לגרסאות llama.cpp האחרונות, הוא עשוי לא לתמוך במודל או בסידור המשקולות החדש.

איך מריצים

כדי לקבל ריצה חלקה ומהירה, המודל כולו צריך לשבת בזיכרון של כרטיס המסך. לרוב המפתחים, גרסת Q4_K_M ששוקלת 7.66GB תהיה נקודת ההתחלה המאוזנת, והיא תדרוש כרטיס עם לפחות 10GB עד 12GB של VRAM כדי להשאיר מקום להקשר. אם יש לכם כרטיס של 8GB, תצטרכו לרדת לגרסאות מכווצות יותר כמו IQ3_M או Q3_K_L, ששוקלות פחות מ־6.5GB.

את הקבצים מריצים ישירות בכלים מוכרים כמו llama.cpp, LM Studio, koboldcpp או Jan AI. אם יש לכם מעבד ARM או מעבד עם AVX, גרסת Q4_0 תבצע סידור מחדש של המשקולות בזיכרון בזמן ריצה כדי להאיץ את העיבוד. אם אין לכם חומרה מקומית מתאימה ואתם צריכים רק שאילתות מזדמנות, עדיף להשתמש ב־API חיצוני.

ollama run hf.co/bartowski/gemma-4-12B-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 185 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-12B-it-bf16.gguf23.8 GB
• gemma-4-12B-it-Q8_0.gguf12.7 GB
• gemma-4-12B-it-Q6_K_L.gguf10.5 GB
• gemma-4-12B-it-Q6_K.gguf10.2 GB
• gemma-4-12B-it-Q5_K_L.gguf9.0 GB
• gemma-4-12B-it-Q5_K_M.gguf8.8 GB
• gemma-4-12B-it-Q5_K_S.gguf8.4 GB
• gemma-4-12B-it-Q4_K_L.gguf7.9 GB
• gemma-4-12B-it-Q4_1.gguf7.8 GB
• gemma-4-12B-it-Q4_K_M.gguf7.7 GB
• gemma-4-12B-it-Q4_K_S.gguf7.2 GB
• gemma-4-12B-it-Q4_0.gguf7.1 GB
• gemma-4-12B-it-IQ4_NL.gguf7.1 GB
• gemma-4-12B-it-Q3_K_XL.gguf6.9 GB
• gemma-4-12B-it-IQ4_XS.gguf6.8 GB
• gemma-4-12B-it-Q3_K_L.gguf6.7 GB
• gemma-4-12B-it-Q3_K_M.gguf6.3 GB
• gemma-4-12B-it-IQ3_M.gguf6.0 GB
• gemma-4-12B-it-Q3_K_S.gguf5.7 GB
• gemma-4-12B-it-IQ3_XS.gguf5.5 GB
• gemma-4-12B-it-Q2_K_L.gguf5.3 GB
• gemma-4-12B-it-IQ3_XXS.gguf5.1 GB
• gemma-4-12B-it-Q2_K.gguf5.1 GB
• gemma-4-12B-it-IQ2_M.gguf4.9 GB
• gemma-4-12B-it-IQ2_S.gguf4.7 GB
• mtp-gemma-4-12B-it-Q8_0.gguf465.1 MB
• mtp-gemma-4-12B-it-Q4_0.gguf322.9 MB
• mmproj-gemma-4-12B-it-bf16.gguf175.1 MB
• mmproj-gemma-4-12B-it-f16.gguf122.0 MB
• gemma-4-12B-it-imatrix.gguf7.5 MB
• README.md13.7 KB
• .gitattributes3.4 KB

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי הקוד והפצה של המודל בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗