Qwen2.5-VL-7B-Abliterated-Caption-it-GGUF

מה זה

מדובר בהמרה סטטית לפורמט GGUF של מודל ראייה ושפה בגודל שבעה מיליארד פרמטרים, שמבוסס במקור על עבודה של prithivMLmods. המודל מתמקד במשימות של תמונה לטקסט, בעיקר ייצור כתוביות ותיאורים מפורטים, כשהוא עבר תהליך הסרת מגבלות שמונע ממנו לסרב לבקשות סביב תכנים רגישים.

ההבדל המרכזי מול מודלים רגילים באותו סדר גודל הוא השילוב בין הסרת החסימות להתאמה למשימות תיאור ויזואלי. במקום מודל כללי שמסרב לנתח תמונות מסוימות, מקבלים כאן כלי שמגיב ישירות ומפרט מה הוא רואה, כשהדגש בכרטיס הוא על אספקת קבצים מכווצים שמתאימים למגוון רחב של משאבי חומרה.

הכרטיס לא כולל ציוני מבחנים רשמיים, אלא מפנה להשוואות כלליות על איבוד דיוק בכימותים שונים. המשמעות בפועל היא שרמת הדיוק תלויה בגרסה שתבחרו להוריד, החל מגרסאות שחותכות במשקל אבל פוגעות באיכות השפה, ועד לקבצים כבדים ששומרים כמעט על מלוא היכולת המקורית.

מתאים ל

• תיאור תמונות ללא סינון

  מתאים לניתוח מאגרי תמונות שכוללים תוכן שהיה גורם למודלים מסחריים רגילים לסרב להגיב.

• תיוג תמונות באופליין

  מאפשר לעבד קטלוגים מקומית על מחשב פיתוח רגיל באמצעות קובצי כימות קלים.

• יצירת דאטה־סטים לאימון

  מספק כתוביות מפורטות באנגלית לתמונות עבור אימון מודלים אחרים ללא תלות ברשת.

איפה זה נופל

המודל מצהיר על תמיכה באנגלית, סינית ותאילנדית בלבד, כך שעברית לא נתמכת כאן באופן רשמי. בנוסף, הסרת המגבלות אומרת שאין שום מנגנון הגנה פנימי מפני ייצור טקסט בעייתי או פוגעני, מה שמחייב אתכם לבנות שכבת סינון משלכם אם הכלי נחשף למשתמשי קצה. נקודה טכנית נוספת היא שמדובר בכימות סטטי רגיל ולא בכימות מבוסס מטריצת חשיבות, ולכן בגרסאות הנמוכות ביותר הירידה באיכות תהיה מורגשת למדי.

איך מריצים

כדי להריץ אותו צריך להוריד שני קבצים נפרדים, קובץ המשקולות עצמו וקובץ הפרויקטור החזותי ששוקל בין ג'יגה בייט אחד לגיגה וחצי. גרסאות הכימות נעות מגרסת שתי ביט במשקל שלושה נקודה אחד ג'יגה בייט ועד לקובץ המלא במשקל חמישה עשר נקודה שלושה ג'יגה בייט. המפתח ממליץ על גרסאות ארבע ביט ששוקלות סביב ארבעה וחצי ג'יגה בייט כאיזון נכון בין מהירות לאיכות.

אם יש לכם מחשב עם שמונה עד שישה עשר גיגה זיכרון בכרטיס המסך, תוכלו להריץ את הגרסאות המומלצות מקומית בלי בעיה דרך ספריות תומכות. אם מדובר במשימה חד פעמית או שאין לכם כרטיס מתאים, שירות חיצוני חוסך את ההתעסקות בהורדת קבצים כבדים וחיבור רכיב הראייה.

ollama run hf.co/mradermacher/Qwen2.5-VL-7B-Abliterated-Caption-it-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 65.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-VL-7B-Abliterated-Caption-it.f16.gguf15.2 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q8_0.gguf8.1 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q6_K.gguf6.3 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q5_K_M.gguf5.4 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q5_K_S.gguf5.3 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q4_K_M.gguf4.7 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q4_K_S.gguf4.5 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.IQ4_XS.gguf4.3 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q3_K_L.gguf4.1 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q3_K_M.gguf3.8 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q3_K_S.gguf3.5 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.Q2_K.gguf3.0 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.mmproj-f16.gguf1.4 GB
• Qwen2.5-VL-7B-Abliterated-Caption-it.mmproj-Q8_0.gguf853.1 MB
• README.md4.6 KB
• .gitattributes2.7 KB

הרישיון

הרישיון המדווח הוא אפאצ'י שתיים אפס. זה רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית בתוך מוצרים. הדרישה העיקרית היא לצרף עותק של הרישיון המקורי ולתת קרדיט למפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗