gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF

מה זה

מדובר בהתאמה אישית של מודל הבסיס של גוגל, שעבר אימון נוסף על גבי דאטה סינתטי של הסקת מסקנות שמקורו במודלי אופוס השונים. המטרה כאן ברורה, להביא יכולות פתרון בעיות וניתוח של מודלי ענק אל תוך משקל קל שרץ על חומרה ביתית סבירה. המודל מייצר שרשרת חשיבה בערוץ ייעודי ומגיב באופן ישיר לשאלות מורכבות, ניתוח לוגי וכתיבת סקריפטים.

החידוש העיקרי בחבילה הזו הוא שילוב מודל טיוטה קטן לחיזוי מרובה של טוקנים. בבדיקה שנעשתה על כרטיס יחיד מסוג אר טי אקס 5090 עם גרסת המשקל הבינונית, השימוש במנגנון הזה הניב האצה של פי 1.2 עד פי 1.3 בקצב הפליטה בלי לאבד שום דיוק בתוצאה הסופית. מודל הטיוטה מבוסס על מודל המקור ולא אומן מחדש על נתוני הזיקוק, כך שהאצת הביצועים נמוכה במעט מזו של מודל הבסיס, אך עדיין מדובר בתוספת מהירות שמגיעה ללא עלות חישובית כבדה.

מתאים ל

• פיתוח קוד מקומי ואופליין

  מאפשר לייצר סקריפטים ולנתח תקלות ישירות מהמחשב האישי בלי לחשוף קוד פנימי לרשת.

• פירוק בעיות לוגיות

  מייצר שלבי ניתוח מסודרים בזכות אימון ייעודי על דאטה של הסקת מסקנות ממודלי אופוס.

• עיבוד טקסטים ארוכים באנגלית

  תומך בחלון הקשר של עד 131 אלף טוקנים על גבי חומרה עם מספיק זיכרון תואם.

איפה זה נופל

האימון הסיר כמעט לחלוטין את מנגנוני הסירוב וההסתייגות, כך שהמודל נעדר מנגנוני בטיחות מובנים ויענה על בקשות מסוכנות אם לא תציבו לו חסימות חיצוניות. בנוסף, החומר מדגיש שהמודל ממוקד באנגלית, ולכן ביצועיו בעברית לא נבדקו וצפויים להיות מוגבלים. שרשרת החשיבה שלו היא חיקוי סגנוני של דאטה סינתטי, מה שאומר שהוא נשמע מאוד משכנע ומובנה, אבל הוא נוטה לטעויות בעובדות ובחישובים מספריים שחובה לאמת באופן עצמאי.

איך מריצים

כדי להריץ אותו צריך גרסה מעודכנת של לאמה סי פי פי שתומכת בארכיטקטורה של ג'מה 4, או תוכנות כמו אל אם סטודיו ואולאמה. ברמת החומרה, המשקל הנמוך ביותר דורש סביב 4.5 גיגה זיכרון וידאו, אבל גרסת הביניים המומלצת תופסת כמעט שבעה גיגה. אם יש לכם כרטיס של 8 גיגה, תוכלו להריץ אותה בהקשר קצר של אלפיים עד ארבעת אלפים טוקנים. עם 16 גיגה ומעלה כבר אפשר לפתוח הקשר רחב של עשרות אלפי טוקנים.

ההבדל בין הגרסאות מסתכם באיכות מול זיכרון, כשגרסת 4 ביט היא נקודת האיזון, וגרסת 8 ביט שוקלת קרוב לשנים עשר גיגה ומיועדת למי שלא מוכן להתפשר על דיוק. אם אתם זקוקים לכל 131 אלף הטוקנים באופן קבוע תחת עומס ואין לכם כרטיס של 24 גיגה, עדיף לפנות למודל מרוחק דרך שירות ענן.

ollama run hf.co/yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 56.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• fp16/model.safetensors23.9 GB
• gemma4-opus48-Q8_0.gguf12.7 GB
• gemma4-opus48-Q6_K.gguf9.8 GB
• gemma4-opus48-Q4_K_M.gguf7.4 GB
• gemma4-opus48-Q2_K.gguf4.8 GB
• MTP/gemma-4-12B-it-MTP-BF16.gguf861.5 MB
• MTP/gemma-4-12B-it-MTP-F16.gguf861.5 MB
• MTP/gemma-4-12B-it-MTP-Q8_0.gguf465.1 MB
• fp16/tokenizer.json32.2 MB
• fp16/chat_template.jinja17.5 KB
• README.md6.6 KB
• fp16/config.json4.5 KB
• fp16/tokenizer_config.json2.8 KB
• .gitattributes2.0 KB
• fp16/processor_config.json1.4 KB
• fp16/generation_config.json273 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש מסחרי חופשי, שינוי הקוד והפצה פנימית או חיצונית בתוך מוצרים. אין כאן הגבלות שימוש ייחודיות מעבר לדרישה לשמור על הודעת הרישיון והקרדיט המקורי, והוא מגיע ללא כל אחריות מצד היוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗