Qwen2-VL-2B-Instruct-GGUF

מה זה

מדובר במודל ראייה וטקסט שנועד לקבל תמונה וטקסט ולהחזיר תשובה כתובה, מומר לפורמט GGUF בעזרת llama.cpp גרסה b4327. הממיר השתמש בשיטת imatrix כדי למזער את אובדן הדיוק בזמן הדחיסה. הייחוד העיקרי כאן הוא הדרישות הנמוכות. משקל הקבצים נע בין 0.60GB לגרסה הדחוסה ביותר ועד 3.09GB לגרסת f16 המלאה, כך שכל המשקלים נכנסים בקלות לתוך זיכרון עבודה פשוט.

המודל כולל מגוון גרסאות קוונטיזציה, החל מ־Q2 ועד Q8. חלק מהגרסאות משתמשות ברמת דחיסה Q8_0 לשכבות הקלט והפלט כדי לשמור על יציבות התשובות למרות כיווץ יתר השכבות.

מתאים ל

• תיאור תמונות מהיר מקומית

  קובץ Q4 שוקל פחות מג'יגה ומאפשר תיוג תמונות אוטומטי במכשיר קצה ללא שליחת מידע לרשת.

• הרצה מקומית על שבבי ARM

  גרסאות Q4_0 ו־IQ4_NL מבצעות סידור זיכרון מותאם ל־ARM תוך כדי ריצה לקבלת ביצועים מהירים.

• שילוב בשרתי AVX2

  מאפשר לעבד מאות טוקנים לשנייה מקלט תמונה וטקסט ישירות על גבי מעבד שרת ללא GPU ייעודי.

איפה זה נופל

גודל של שני מיליארד פרמטרים מגביל מאוד את עומק ההבנה. גרסאות קטנות מ־Q4, כמו IQ2 או Q3_K_S, מוגדרות במפורש כבעלות איכות נמוכה או פגיעה בביצועים. בנוסף, המודל הוכשר על אנגלית בלבד לפי נתוני המקור, כך שאין לצפות לזיהוי טקסט מדויק בעברית מתוך תמונות. חשוב גם לזכור שפורמט I-quant לא עובד מול מאיצי Vulkan.

אותה משפחה

Qwen2-VL יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך גרסה מקומית מעודכנת של llama.cpp שכוללת את הבינארי llama-qwen2vl-cli. הפקודה דורשת העברת קובץ המודל לצד קובץ ההקרנה הוויזואלית mmproj, תמונה וטקסט.

מבחינת חומרה, קובץ כמו Q4_K_M שוקל 0.99GB ורץ בקלות על מעבד רגיל או על כרטיס מסך פשוט עם פחות מ־4GB של זיכרון גרפי. במידה ואתם עובדים על מעבדי ARM או מעבדים שתומכים ב־AVX, קובץ Q4_0 תומך באריזה מחדש בזמן אמת שמאיצה את העבודה. אם אתם על מעבדי שרת חזקים, בדיקות של Q4_0_8_8 מציגות עד 320 טוקנים לשנייה בעיבוד קלט.

ollama run hf.co/bartowski/Qwen2-VL-2B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 25.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2-VL-2B-Instruct-f16.gguf3.1 GB
• mmproj-Qwen2-VL-2B-Instruct-f32.gguf2.7 GB
• Qwen2-VL-2B-Instruct-Q8_0.gguf1.6 GB
• mmproj-Qwen2-VL-2B-Instruct-f16.gguf1.3 GB
• Qwen2-VL-2B-Instruct-Q6_K_L.gguf1.3 GB
• Qwen2-VL-2B-Instruct-Q6_K.gguf1.3 GB
• Qwen2-VL-2B-Instruct-Q5_K_L.gguf1.2 GB
• Qwen2-VL-2B-Instruct-Q5_K_M.gguf1.1 GB
• Qwen2-VL-2B-Instruct-Q5_K_S.gguf1.1 GB
• Qwen2-VL-2B-Instruct-Q4_K_L.gguf1.0 GB
• Qwen2-VL-2B-Instruct-Q4_K_M.gguf986.0 MB
• Qwen2-VL-2B-Instruct-Q4_K_S.gguf940.3 MB
• Qwen2-VL-2B-Instruct-Q4_0.gguf937.5 MB
• Qwen2-VL-2B-Instruct-Q3_K_XL.gguf936.7 MB
• Qwen2-VL-2B-Instruct-IQ4_NL.gguf936.3 MB
• Qwen2-VL-2B-Instruct-IQ4_XS.gguf895.7 MB
• Qwen2-VL-2B-Instruct-Q3_K_L.gguf880.2 MB
• Qwen2-VL-2B-Instruct-Q3_K_M.gguf824.2 MB
• Qwen2-VL-2B-Instruct-IQ3_M.gguf776.7 MB
• Qwen2-VL-2B-Instruct-Q3_K_S.gguf760.9 MB
• Qwen2-VL-2B-Instruct-Q2_K_L.gguf732.8 MB
• Qwen2-VL-2B-Instruct-IQ3_XS.gguf731.7 MB
• Qwen2-VL-2B-Instruct-Q2_K.gguf676.3 MB
• Qwen2-VL-2B-Instruct-IQ2_M.gguf601.1 MB
• Qwen2-VL-2B-Instruct.imatrix2.0 MB
• README.md14.2 KB
• .gitattributes3.2 KB

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי קוד, והפצה חופשית של התוכנה בתוך מוצרים פרטיים או מסחריים, בתנאי שמצרפים עותק של הרישיון המקורי וציון זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗