gemma-3-12b-it-heretic-v2

מה זה

מדובר בעיבוד של Gemma 3 12B IT באמצעות כלי בשם Heretic, שמטרתו להנמיך דרסטית את כמות הסירובים של המודל. במקום 100 סירובים מתוך 100 בדיקות במקור, הגרסה הזו נבחרה מתוך 200 ניסיונות כשהיא מסרבת רק ב־8 מקרים, עם סטיית KL נמוכה של 0.0801 שמצביעה על פגיעה מינימלית ביכולות הכלליות.

המודל מגיע עם שלל גרסאות מכווצות שמותאמות במיוחד לסביבת ComfyUI, כולל שימור משקלי הראייה לצורך שיפור פרומפטים מתמונה לווידאו. הכיווץ כאן לא נעשה בצורה עיוורת אלא בעזרת אופטימיזציה שמכוונת על ידי פירוק SVD כדי להקטין עיוותים במשקלים.

מתאים ל

• קידוד טקסט למחוללי וידאו

  הזרמת פרומפטים מורכבים ב־LTX-2 בלי סירובים שמרככים את הייצוג הוויזואלי.

• העשרת פרומפטים מתמונה

  קבצי ה־safetensors שומרים על משקלי הראייה הנדרשים ל־Image-to-Video.

• הסקה מקומית עם llama.cpp

  קובץ ה־Q4_K_M מאפשר הרצה מהירה של שיחה על כרטיסי מסך ביתיים.

איפה זה נופל

הורדת הסירובים לא מייצרת ידע יש מאין. אם גוגל לא אימנה את ג'מה המקורית על תכנים מסוימים, המודל פשוט לא ידע אותם גם אם הוא כבר לא מסרב לענות. בנוסף, מודל הווידאו LTX-2 אומן מראש על הפיזור של ג'מה הרגילה, והעובדה שרוב השינוי התבצע בשכבה 48 בזמן ש־LTX-2 ממצע את כל השכבות אומרת שההשפעה על הווידאו הסופי עשויה להיות מוגבלת מאוד בפועל.

אותה משפחה

gemma-3-12b-it-heretic יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בפורמט המקורי המלא נדרשים 23GB של זיכרון גרפי, אבל קיימות גרסאות מכווצות שמתאימות לחומרה מודרנית רגילה. גרסת INT8 שוקלת 13GB ועובדת היטב על כל כרטיס סביר מארכיטקטורת Ampere ומעלה, בעוד גרסאות ה־4 ביט יורדות לכיוון 7.7GB. למי שרוצה להריץ טקסט בלבד ב־llama.cpp, קובץ ה־GGUF ברמת Q4_K_M דורש רק 6.8GB של זיכרון ויספיק לרוב המחשבים.

אם אתם משתמשים בכרטיסי Blackwell חדשים, יש תמיכה מובנית בפורמטים כמו NVFP4 או MXFP8 שמנצלים את ליבות החומרה שלהם. אם המטרה היא סתם צ'אט כללי ולא חיבור מקומי ישיר לתהליכי וידאו ב־ComfyUI, עדיף להשתמש ב־API מרוחק של מודל גדול בהרבה במקום לתחזק את הקבצים האלה מקומית.

ollama run hf.co/DreamFast/gemma-3-12b-it-heretic-v2:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 175 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• comfyui/gemma-3-12b-it-heretic-v2.safetensors24.4 GB
• gguf/gemma-3-12b-it-heretic-v2-f16.gguf23.5 GB
• comfyui/gemma-3-12b-it-heretic-v2_mxfp8.safetensors13.6 GB
• comfyui/gemma-3-12b-it-heretic-v2_int8.safetensors13.2 GB
• comfyui/gemma-3-12b-it-heretic-v2_fp8_e4m3fn.safetensors13.2 GB
• gguf/gemma-3-12b-it-heretic-v2-Q8_0.gguf12.5 GB
• gguf/gemma-3-12b-it-heretic-v2-Q6_K.gguf9.7 GB
• gguf/gemma-3-12b-it-heretic-v2-Q5_K_M.gguf8.4 GB
• comfyui/gemma-3-12b-it-heretic-v2_nvfp4.safetensors8.3 GB
• comfyui/gemma-3-12b-it-heretic-v2_int4.safetensors8.3 GB
• gguf/gemma-3-12b-it-heretic-v2-Q5_K_S.gguf8.2 GB
• gguf/gemma-3-12b-it-heretic-v2-Q4_K_M.gguf7.3 GB
• gguf/gemma-3-12b-it-heretic-v2-Q4_K_S.gguf6.9 GB
• gguf/gemma-3-12b-it-heretic-v2-Q3_K_M.gguf6.0 GB
• model-00001-of-00005.safetensors5.0 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors4.6 GB
• tokenizer.json33.4 MB
• tokenizer.model4.7 MB
• tokenizer_config.json1.2 MB
• model.safetensors.index.json108.6 KB
• README.md14.2 KB
• config.json2.8 KB
• .gitattributes2.2 KB
• chat_template.jinja1.5 KB
• special_tokens_map.json662 B
• generation_config.json174 B

הרישיון

הפרויקט כפוף לרישיון הרשמי של Gemma מבית גוגל. מותר להשתמש בו לצרכים מסחריים כל עוד עומדים בתנאי השימוש המקוריים של גוגל ומדיניות השימוש המקובל שלהם.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗