Qwen2.5-VL-7B-Instruct-abliterated-GGUF

מה זה

המאגר הזה מציע המרות סטטיות של גרסת הראייה מסדרת Qwen בגודל שבעה מיליארד פרמטרים, אחרי שהוסרו ממנה שכבות הסירוב וההגבלה של המודל המקורי. מדובר במודל שמשלב קלט של תמונה לצד טקסט, ומסוגל לענות על שאלות שקשורות לקבצים גרפיים בלי מנגנוני הבטיחות הרגילים שחוסמים ניתוח של תכנים מסוימים.

היוצר ארז את המודל בפורמט שמתאים למנועים כמו llama.cpp. במקום מודל אחד כבד, יש כאן קבצים מכווצים ברמות דיוק שונות שנעות מגרסאות של שני ביט ועד f16 מלא, כשמעבר לקובץ השפה הראשי מצורפים קובצי mmproj ייעודיים שמאפשרים את פיענוח התמונות.

מתאים ל

• ניתוח תמונות ללא צנזורה

  מענה על תוכן חזותי שמודלים מסחריים נוטים לסרב לעבד בגלל מדיניות בטיחות מחמירה.

• הרצה מקומית על מחשב יחיד

  גרסאות Q4_K רצות היטב על כרטיסי מסך נגישים של 8 גיגה בייט יחד עם קובץ הראייה.

• בדיקות אבטחה ומחקר

  בחינה של גבולות המודל ועמידותו להנחיות בעייתיות אחרי הסרת מנגנוני הסירוב.

איפה זה נופל

ההסרה של מנגנוני ההגנה הופכת את המודל לפגיע במיוחד לפליטת מידע שגוי, הזיות או מענה על הנחיות שעלולות להיות מסוכנות או פוגעניות. המודל מתועד עבור השפה האנגלית בלבד, כך שאין כאן התחייבות ליכולות קריאת עברית בתמונות או הבנת טקסט מקומי. מעבר לזה, בגרסאות המכווצות בכבדות כמו Q2 או Q3_K_M יש ירידה מורגשת באיכות הפלט, וההתעסקות עם שני קבצים נפרדים ב־GGUF מסרבלת את ההטמעה.

איך מריצים

בשביל להריץ אותו עם יכולות ראייה אתם צריכים להוריד שני קבצים, קובץ מודל שפה וקובץ mmproj מתאים. המשקלים של מודל הטקסט נעים בין 3.1 גיגה בייט בגרסת Q2_K ועד 15.3 גיגה בייט בגרסת f16, בעוד קובץ הראייה שוקל בין 1.0 ל־1.5 גיגה בייט. לרוב השימושים, הגרסאות המומלצות והמאוזנות הן Q4_K_M במשקל 4.8 גיגה בייט או Q4_K_S ב־4.6 גיגה בייט, שרצות בקלות על כרטיס מסך ביתי עם 8 גיגה זיכרון.

אם יש לכם כרטיס חזק יותר אפשר לקחת את Q8_0 ששוקל 8.2 גיגה בייט ומספק איכות גבוהה, אבל חבל לגעת ב־f16 שהוא מוגזם לגודל הזה. אם אתם צריכים רק בדיקה זמנית ואין לכם עניין להתעסק עם שילוב קובצי הראייה המקומיים, לפעמים פשוט יותר לצרוך מודל דרך ספק ענן.

ollama run hf.co/mradermacher/Qwen2.5-VL-7B-Instruct-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 65.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-VL-7B-Instruct-abliterated.f16.gguf15.2 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q8_0.gguf8.1 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q6_K.gguf6.3 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q5_K_M.gguf5.4 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q5_K_S.gguf5.3 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q4_K_M.gguf4.7 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q4_K_S.gguf4.5 GB
• Qwen2.5-VL-7B-Instruct-abliterated.IQ4_XS.gguf4.3 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q3_K_L.gguf4.1 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q3_K_M.gguf3.8 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q3_K_S.gguf3.5 GB
• Qwen2.5-VL-7B-Instruct-abliterated.Q2_K.gguf3.0 GB
• Qwen2.5-VL-7B-Instruct-abliterated.mmproj-f16.gguf1.4 GB
• Qwen2.5-VL-7B-Instruct-abliterated.mmproj-Q8_0.gguf853.1 MB
• README.md4.2 KB
• .gitattributes2.7 KB

הרישיון

הרישיון לא דווח בעמוד המודל. במצב כזה אין אישור משפטי מוגדר לשימוש מסחרי, וארגונים לא יכולים להכניס אותו למוצר בלי לקחת סיכון משפטי של הפרת זכויות יוצרים של המודל המקורי או של יוצר הפיצול.

הרישיון המלא בעמוד המודל ↗