Qwen2.5-VL-32B-Instruct-Q8_0-GGUF

מה זה

מדובר בהמרה של מודל ההוראות מסדרת Qwen2.5-VL לפורמט GGUF, שמיועד לעבודה ישירה עם llama.cpp. המטרה כאן היא עיבוד תמונה וטקסט יחד, ברמת דיוק גבוהה של שמונה ביט שמנסה לשמור על היכולות המקוריות בלי השגיאות הנפוצות שמופיעות בכימות אגרסיבי יותר. המודל מסוגל לקבל תמונות לצד הנחיות טקסט באנגלית ולהחזיר תשובות מפורטות.

ההבדל העיקרי מול גרסאות מכווצות יותר הוא המשקל. קובצי המשקולות תופסים מעל שלושים ושניים גיגהבייט, מה שאומר שאין כאן פשרות על איכות הייצוג של התמונה והטקסט, אבל המחיר מגיע ישירות בדרישות הזיכרון. המפרסם השתמש בכלי ההמרה האוטומטי של ggml כדי לייצר את הקבצים האלה, בלי שינויים מיוחדים בארכיטקטורה המקורית של המודל.

מתאים ל

• ניתוח תמונות באיכות גבוהה

  רמת הדיוק של שמונה ביט שומרת על פרטים ויזואליים קטנים שהיו נעלמים בכימות נמוך.

• שרת מקומי סגור לרשת

  הרצה ישירה דרך llama.cpp מאפשרת לעבד מידע פנימי בלי לשלוח שום דבר החוצה.

• חילוץ מידע באנגלית ממסמכים

  המודל מיועד לעבודה באנגלית ומסוגל לקרוא טקסט מתוך תמונות ולענות על שאלות לגביו.

איפה זה נופל

הכרטיס מציין תמיכה באנגלית בלבד, כך שלא כדאי לבנות עליו לעיבוד מסמכים או תמונות עם טקסט בעברית בלי בדיקה יסודית. מעבר לכך, דף המודל דל בפרטים ולא כולל תוצאות מבחנים או פירוט לגבי מגבלות הראייה שלו. חלון ההקשר בפקודת ההרצה מוגדר לאלפיים ארבעים ושמונה אסימונים בלבד, מה שמגביל מאוד ניתוח של תמונות מורכבות יחד עם טקסט ארוך.

איך מריצים

כדי להריץ אותו צריך כלי כמו llama.cpp, שמתקינים דרך brew או מקמפלים ישירות מהקוד עם תמיכה בהאצת חומרה. הפקודות הרשמיות מאפשרות למשוך את הקובץ ישירות מהמאגר ולהרים שרת מקומי עם חלון הקשר של אלפיים אסימונים, או לעבוד דרך שורת הפקודה.

מבחינת חומרה, קבצים בנפח של מעל שלושים ושניים גיגהבייט דורשים כרטיס מסך חזק מאוד, או שילוב של זיכרון מאוחד רחב במחשבי מק. אם אין לכם לפחות ארבעים גיגהבייט זיכרון פנוי עבור המודל וההקשר, עדיף להשתמש בשרת מרוחק במקום לנסות לדחוף את זה למחשב שלא יעמוד בעומס.

ollama run hf.co/openfree/Qwen2.5-VL-32B-Instruct-Q8_0-GGUF:Q8_0

הקבצים

3 קבצים במאגר, 32.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• qwen2.5-vl-32b-instruct-q8_0.gguf34.8 GB
• README.md1.9 KB
• .gitattributes1.6 KB

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה של התוצרים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי בקבצים שאתם מעבירים הלאה. אפשר לשלב אותו במוצרים פנימיים או מסחריים בלי לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗