gemma-4-31B-it-heretic-i1-GGUF

קוד פתוח

mradermacherapache-2.02026-04-15

transformers
gguf
heretic
uncensored
decensored

גרסת כימות מבוססת חשיבות למודל ראייה ושפה בגודל שלושים ואחד מיליארד פרמטרים. היא נועדה למי שרוצה להריץ מודל גדול ומדויק יותר מקומית בלי לחנוק את החומרה.

312 GBמשקל הקבצים
12,019הורדות בחודש
42לייקים

מה זה

המאגר הזה מציע המרות שונות בפורמט קבצים מכומת של מודל ראייה מקורי בשם הרטיק, שפותח במקור על בסיס סדרת גמא. הדגש כאן הוא על תהליך כימות שמשתמש במטריצת חשיבות, טכניקה ששומרת טוב יותר על דיוק המודל גם כשמכווצים אותו לגדלים נמוכים, במקום לחתוך משקלים בצורה אחידה וגסה.

מדובר במודל שמיועד להבין תמונות וטקסט באנגלית. כרטיס המודל לא מציג מבחני ביצועים כמותיים מספריים, אבל מציע מגוון רחב של רמות דחיסה שנע בין שבעה ג'יגה בייט בגרסאות הקיצוניות ביותר ועד עשרים וחמישה ג'יגה בייט בגרסאות האיכותיות.

מתאים ל

ניתוח תמונות מקומי
מאפשר עיבוד תמונה וטקסט בלי לשלוח מידע רגיש לשרתים חיצוניים ברשת.
עבודה במכונות עם 24GB VRAM
רמות הדחיסה סביב 18 גיגה בייט מתאימות בדיוק לכרטיס מסך ביתי יחיד.
בדיקת איכות כימות
כולל קובץ מטריצה מוכן למי שרוצה לייצר כימותים מותאמים אישית בעצמו.

איפה זה נופל

היוצר מציין במפורש שגרסאות הכימות הנמוכות של ביט אחד או שניים מספקות איכות ירודה מאוד, וחלקן לא שוות ריצה אמיתית. בנוסף, מדובר במודל ראייה אבל קובצי ההקרנה של התמונה אינם כלולים ישירות במאגר הזה אלא נמצאים במאגר נפרד, מה שמסבך את ההפעלה הראשונית. מעבר לזה, המודל מתועד באנגלית בלבד, ולכן אין להסתמך עליו בעיבוד מסמכים או שיחה בעברית לפני בדיקה ידנית קפדנית.

שאלות
נפוצות

איזו גרסה כדאי להוריד מתוך הרשימה?

הגרסה המאוזנת ביותר היא קיו ארבע קיי אם ששוקלת סביב תשעה עשר ג'יגה בייט. היא שומרת על איכות טובה ומסוגלת להיכנס בכרטיס מסך נפוץ עם עשרים וארבעה ג'יגה זיכרון. אם הזיכרון לוחץ ממש, אפשר לרדת לאיי קיו שלוש אם, אבל לא מתחת לזה.

למה המודל לא מפענח לי תמונות אחרי הטעינה?

זה מודל ראייה, וכדי שהוא יקלוט תמונות צריך קובץ הקרנה ייעודי שלא נמצא במאגר הזה. לפי ההנחיות של המפרסם, יש להוריד את הקובץ המתאים מהמאגר הסטטי המקביל כדי שהראייה תעבוד בפועל.

איך מריצים

בשביל להריץ גרסה סבירה כמו ארבעה ביט במשקל שמונה עשר ג'יגה בייט, אתם צריכים כרטיס מסך עם לפחות עשרים וארבעה ג'יגה זיכרון גרפי, כמו שלושים תשעים או ארבעים תשעים. אפשר לטעון אותו בעזרת תוכנות שתומכות בפורמט הזה, כמו לאמה סי פי פי.

הגרסאות המומלצות בכרטיס הן ברמת ארבעה ביט בינונית שמאזנות היטב בין מהירות לאיכות. הגרסאות של ביט אחד או שניים מוגדרות שם ישירות למי שנואש, והן יפגעו בתשובות בצורה קשה. אם אין לכם כרטיס מסך מתאים וחזק בבית או במשרד, עדיף בהרבה לפנות לשרת ענן עם שירות חיצוני.

ollama run hf.co/mradermacher/gemma-4-31B-it-heretic-i1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

26 קבצים במאגר, 312 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים, שמאפשר שימוש מסחרי, שינוי קוד והפצה חופשית ללא תשלום תמלוגים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים הלאה במוצר שלכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗