gemma-4-26B-A4B-it-heretic-GGUF

מה זה

מדובר בהמרה של המודל gemma-4-26B-A4B-it-heretic לפורמט GGUF, שביצע mradermacher. המודל המקורי מגיע מתצורת instruction tuned באנגלית, וכאן הוא מוגש בסדרה של כיולים סטטיים שנועדו לחסוך מקום ולשפר ביצועים בהרצה מקומית. סך כל הקבצים שפורסמו במאגר תופס 170 גיגה בייט, אבל בפועל מורידים רק קובץ אחד שמתאים לחומרה שלכם.

הכרטיס לא מציג מבחני ביצועים ספציפיים למודל עצמו, אלא מפנה לגרפים כלליים על אובדן איכות בכיולים שונים. הקוונטים נעים בין Q2_K בגודל 10.7 גיגה בייט ועד Q8_0 שמגיע ל־27 גיגה בייט. מי שרוצה איזון טוב בין מהירות לאיכות ימצא המלצה מפורשת בכרטיס ללכת על Q4_K_M או Q4_K_S, בעוד רמות כמו Q3_K_M מסומנות כבעלות איכות נמוכה יותר.

מתאים ל

• שרת הסקה מקומי

  הרצה מקומית באנגלית באמצעות llama.cpp על גבי כרטיס מסך עם 24 גיגה בייט זיכרון.

• סביבת פיתוח ובדיקות

  בדיקת יכולות המודל והתנהגותו בגרסת Q4_K_M המומלצת לפני מעבר לחומרה כבדה.

• עיבוד טקסט באנגלית ללא רשת

  שמירה על פרטיות מלאה של נתונים רגישים על ידי הרצה סגורה לחלוטין במחשב המקומי.

איפה זה נופל

הכרטיס מודה מראש שגרסאות מכוילות נמוכות, כמו Q3_K_M, סובלות מירידה באיכות הפלט. המודל מתועד רשמית באנגלית בלבד, כך שאין שום הבטחה או נתונים לגבי תמיכה בעברית. בנוסף, חסר כאן כל מידע על דאטהסט האימון המקורי, על חלון ההקשר המדויק או על בנצ'מרקים, ולכן חובה לבדוק הזיות והבנת הוראות לפני שמשלבים אותו במערכת אמיתית.

איך מריצים

כדי להריץ אותו צריך סביבה שתומכת בקובצי GGUF, כמו llama.cpp. קובצי ה־Q4 שוקלים סביב 16 עד 17 גיגה בייט, מה שאומר שצריך לפחות כרטיס מסך עם 24 גיגה בייט VRAM כדי לטעון אותם במלואם, או להסתמך על זיכרון מערכת משותף של מעבדי אפל. אם אתם עולים ל־Q6_K או Q8_0, תצטרכו 23 עד 27 גיגה בייט רק למשקלים, לפני שמחשבים את זיכרון ההקשר.

מי שאין לו כרטיס מסך מתאים עם מספיק זיכרון ייאלץ לספוג הרצה אטית מאוד על המעבד, ובמצב כזה עדיף לפנות ל־API חיצוני של מודל פתוח במקום להתעקש להריץ מקומית.

ollama run hf.co/mradermacher/gemma-4-26B-A4B-it-heretic-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 170 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gemma-4-26B-A4B-it-heretic.Q8_0.gguf26.9 GB
• gemma-4-26B-A4B-it-heretic.Q6_K.gguf22.6 GB
• gemma-4-26B-A4B-it-heretic.Q5_K_M.gguf19.1 GB
• gemma-4-26B-A4B-it-heretic.Q5_K_S.gguf18.0 GB
• gemma-4-26B-A4B-it-heretic.Q4_K_M.gguf16.8 GB
• gemma-4-26B-A4B-it-heretic.Q4_K_S.gguf15.5 GB
• gemma-4-26B-A4B-it-heretic.IQ4_XS.gguf14.1 GB
• gemma-4-26B-A4B-it-heretic.Q3_K_L.gguf13.8 GB
• gemma-4-26B-A4B-it-heretic.Q3_K_M.gguf13.3 GB
• gemma-4-26B-A4B-it-heretic.Q3_K_S.gguf12.2 GB
• gemma-4-26B-A4B-it-heretic.Q2_K.gguf10.6 GB
• README.md3.8 KB
• .gitattributes2.3 KB

הרישיון

הרישיון המדווח הוא Apache 2.0. הוא מתיר שימוש חופשי, שינוי קוד, והפצה לצרכים מסחריים ופרטיים, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. זה מאפשר לשלב את המשקלים במוצר מסחרי בלי תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗