Qwen2-VL-7B-Instruct-GGUF

מה זה

המאגר הזה מכיל קובצי כיול וכימות של Qwen2-VL-7B שנוצרו באמצעות imatrix. המודל מתמחה בהבנת תמונות לצד טקסט, ומחזיר תיאורים, זיהוי פרטים או מענה לשאלות על מסמכים וצילומים. בגלל שמדובר במודל ראייה, הוא כולל רכיב הקרנה ייעודי לעיבוד הוויזואלי בנוסף למשקולות השפה הרגילות.

במקום לקחת את גרסת הדיוק המלאה ששוקלת 15.24GB, המאגר פורס מבחר שנע בין 15.24GB לגרסאות מכווצות של 2.78GB. משתמשים עם כרטיסי מסך צנועים יכולים לטעון אותו ישירות לזיכרון הקיים, כאשר רמות הדחיסה הבינוניות שומרות על רמת ביצועים טובה יחסית לגודל.

מתאים ל

• ניתוח תמונות מקומי

  מאפשר לשלוף מידע מתמונות ומסמכים סרוקים בלי להוציא נתונים רגישים מהרשת המקומית.

• הרצה על חומרת קצה

  משקל קובץ של פחות מחמישה גיגה בגרסת Q4_K_M נכנס בקלות למחשבים אישיים עם כרטיס מסך פשוט.

• בדיקות ופיתוח מודלי ראייה

  נותן סביבת ניסוי נוחה לפיתוח ממשקים מבוססי תמונה דרך llama.cpp.

איפה זה נופל

המודל מתועד רשמית באנגלית בלבד. מי שבונה עליו להבנת תמונות עם טקסט עברי או לשאלות בעברית עלול להיתקל בהזיות או בחוסר תגובה. בנוסף, גרסאות הכימות הנמוכות מאוד, למשל Q2_K או IQ2_M, מאבדות דיוק משמעותי בניתוח פרטים קטנים בתמונה. הרצת ראייה ממוחשבת ב־GGUF דורשת גם בינארי תואם וטעינת קובץ הקרנה נפרד, מה שמסבך את האינטגרציה יחסית למודלי טקסט בלבד.

אותה משפחה

Qwen2-VL יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך גרסה עדכנית של llama.cpp שתומכת במודלים מסוג זה, ולספק לו שני קבצים במקביל: קובץ המודל עצמו וקובץ ה־mmproj שמטפל בעיבוד התמונה. ההרצה נעשית בפקודה ייעודית כמו llama-qwen2vl-cli עם נתיב לתמונה ופרומפט מוגדר.

מבחינת חומרה, קובץ כמו Q4_K_M דורש 4.68GB וירוץ בנוחות על כרטיס מסך עם 6GB או 8GB של זיכרון ייעודי. הגרסאות הקטנות יותר, כמו סדרת ה־IQ שיורדת מתחת ל־4GB, מתאימות גם למעבדים רגילים, אך מי שצריך מהירות גבוהה לניתוח שוטף יעדיף כרטיס גרפי מלא.

ollama run hf.co/bartowski/Qwen2-VL-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 108 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2-VL-7B-Instruct-f16.gguf15.2 GB
• Qwen2-VL-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2-VL-7B-Instruct-Q6_K_L.gguf6.5 GB
• Qwen2-VL-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2-VL-7B-Instruct-Q5_K_L.gguf5.8 GB
• Qwen2-VL-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2-VL-7B-Instruct-Q5_K_S.gguf5.3 GB
• Qwen2-VL-7B-Instruct-Q4_K_L.gguf5.1 GB
• Qwen2-VL-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2-VL-7B-Instruct-Q3_K_XL.gguf4.6 GB
• Qwen2-VL-7B-Instruct-Q4_K_S.gguf4.5 GB
• Qwen2-VL-7B-Instruct-Q4_0.gguf4.4 GB
• Qwen2-VL-7B-Instruct-IQ4_NL.gguf4.4 GB
• Qwen2-VL-7B-Instruct-IQ4_XS.gguf4.2 GB
• Qwen2-VL-7B-Instruct-Q3_K_L.gguf4.1 GB
• Qwen2-VL-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2-VL-7B-Instruct-IQ3_M.gguf3.6 GB
• Qwen2-VL-7B-Instruct-Q2_K_L.gguf3.5 GB
• Qwen2-VL-7B-Instruct-Q3_K_S.gguf3.5 GB
• Qwen2-VL-7B-Instruct-IQ3_XS.gguf3.3 GB
• Qwen2-VL-7B-Instruct-Q2_K.gguf3.0 GB
• Qwen2-VL-7B-Instruct-IQ2_M.gguf2.8 GB
• mmproj-Qwen2-VL-7B-Instruct-f32.gguf2.7 GB
• mmproj-Qwen2-VL-7B-Instruct-f16.gguf1.4 GB
• Qwen2-VL-7B-Instruct.imatrix4.5 MB
• README.md14.2 KB
• .gitattributes3.2 KB

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקבצים והפצה שלהם בתוך מוצרים סגורים. התנאים המרכזיים הם שמירה על הצהרת זכויות היוצרים המקורית וצירוף עותק של הרישיון עצמו בכל הפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗