Qwen2.5-VL-7B-Instruct-GGUF

מה זה

מדובר במודל שמשלב הבנת טקסט עם ניתוח ויזואלי של תמונות וסרטונים, באריזה שמתאימה להרצה על מחשב מקומי. השוני המרכזי מול הדור הקודם ומול מודלים מתחרים בגודל שמונה מיליארד פרמטרים הוא היכולת לנתח וידאו של מעל שעה, לאתר רגעים ספציפיים על ציר הזמן ולפלוט קואורדינטות מדויקות במבנה נתונים מסודר.

במבחני ביצועים של מסמכים וגרפים הוא עוקף את קודמו ומתקרב למודלים סגורים, עם ציון של 95.7 במבחן DocVQA לעומת 94.5 בדור הקודם, ועלייה משמעותית בניתוח מתמטי ויזואלי מציון 58.2 לציון 68.2 ב־MathVista. בנוסף, הוא מספק יכולת זיהוי מיקום של כפתורים ואלמנטים במסכים, מה שמאפשר להפעיל אותו כסוכן ויזואלי לאוטומציה של ממשקים.

מתאים ל

• חילוץ מידע מחשבוניות וטפסים

  הוא מגיע לציון 95.7 ב־DocVQA ויודע להחזיר מידע מובנה ב־JSON מתוך סריקות וטבלאות.

• איתור קטעים בווידאו ארוך

  המבנה שלו תומך בווידאו מעל שעה ומסוגל להצביע על נקודת הזמן שבה התרחש אירוע מסוים.

• זיהוי אלמנטים בממשקי משתמש

  הוא מספק קואורדינטות וקופסאות תוחמות לאייקונים וטקסטים על מסכי מחשב ומובייל.

איפה זה נופל

הכרטיס מודה במפורש ששימוש בהרחבת הקשר מעבר ל־32,768 טוקנים באמצעות שיטת YaRN פוגע ישירות בדיוק של משימות איתור במרחב ובזמן, ולכן המפתחים ממליצים שלא להפעיל אותה אם אתם צריכים קואורדינטות מדויקות. בנוסף, השליטה שלו בממשקי טלפון מורכבים עדיין נמוכה, עם ציון של 25.5 בלבד במבחן AndroidWorld ורק 29 אחוז ב־ScreenSpot Pro, כך שהוא ייכשל במשימות אוטומציה מורכבות.

איך מריצים

הריפו הספציפי הזה של unsloth כולל קובצי GGUF במשקל כולל של 125 גיגה בייט המחולקים בין דרגות דחיסה שונות, ומיועד לטעינה דרך ספריות כמו llama.cpp או סביבות תואמות. כדי להריץ גרסה מכווצת של 7B תצטרכו כרטיס מסך עם לפחות שמונה עד שישה עשר גיגה בייט זיכרון, תלוי במידת הקוונטיזציה ובאורך ההקשר שתדרשו.

אם אתם מתכננים לנתח בעיקר סרטונים של שעה או מסמכים ברזולוציה מקסימלית בלי כרטיס מסך ייעודי, עדיף להשתמש ב־API מרוחק. המודל דורש התקנה ישירה מהקוד של transformers וספריית עזר ייעודית בשם qwen-vl-utils כדי לטפל בקובצי וידאו מקומיים.

ollama run hf.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 125 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-VL-7B-Instruct-BF16.gguf15.2 GB
• Qwen2.5-VL-7B-Instruct-UD-Q8_K_XL.gguf10.2 GB
• Qwen2.5-VL-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2.5-VL-7B-Instruct-UD-Q6_K_XL.gguf7.0 GB
• Qwen2.5-VL-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2.5-VL-7B-Instruct-UD-Q5_K_XL.gguf5.5 GB
• Qwen2.5-VL-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2.5-VL-7B-Instruct-Q5_K_S.gguf5.3 GB
• Qwen2.5-VL-7B-Instruct-Q4_1.gguf4.9 GB
• Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf4.8 GB
• Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2.5-VL-7B-Instruct-Q4_K_S.gguf4.5 GB
• Qwen2.5-VL-7B-Instruct-Q4_0.gguf4.4 GB
• Qwen2.5-VL-7B-Instruct-IQ4_NL.gguf4.4 GB
• Qwen2.5-VL-7B-Instruct-IQ4_XS.gguf4.2 GB
• Qwen2.5-VL-7B-Instruct-UD-Q3_K_XL.gguf4.0 GB
• Qwen2.5-VL-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2.5-VL-7B-Instruct-Q3_K_S.gguf3.5 GB
• Qwen2.5-VL-7B-Instruct-UD-Q2_K_XL.gguf3.2 GB
• Qwen2.5-VL-7B-Instruct-UD-IQ3_XXS.gguf3.2 GB
• Qwen2.5-VL-7B-Instruct-Q2_K_L.gguf3.1 GB
• Qwen2.5-VL-7B-Instruct-Q2_K.gguf3.0 GB
• Qwen2.5-VL-7B-Instruct-UD-IQ2_M.gguf2.9 GB
• mmproj-F32.gguf2.7 GB
• Qwen2.5-VL-7B-Instruct-UD-IQ2_XXS.gguf2.4 GB
• Qwen2.5-VL-7B-Instruct-UD-IQ1_M.gguf2.2 GB
• Qwen2.5-VL-7B-Instruct-UD-IQ1_S.gguf2.1 GB
• mmproj-BF16.gguf1.4 GB
• mmproj-F16.gguf1.4 GB
• imatrix_unsloth.dat4.5 MB
• README.md18.6 KB
• .gitattributes3.6 KB
• config.json1.5 KB

הרישיון

המודל מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקוד המקור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗