Qwen3.5-9B-MLX-4bit

מה זה

מדובר בהמרה של מודל המקור ממשפחת קוון לארכיטקטורת אפל סיליקון, שנעשתה באמצעות ספריית mlx-vlm. המודל שייך לקטגוריית תמונה וטקסט לטקסט, כך שהוא מסוגל לקבל תמונות לצד פרומפטים מילוליים ולנתח אותן ישירות במכשיר המקומי.

הייחוד כאן הוא השילוב בין נפח צנוע של 5.6 גיגה בייט לבין חלון הקשר של 262,144 טוקנים, נתון חריג למדי למודלים שרצים מקומית על מחשב נייד. הכיווץ לרמת 4 ביט עם גודל קבוצה 64 מקטין משמעותית את תפיסת הזיכרון ביחס לגרסאות מלאות או שמונה ביט, ומאפשר עבודה שוטפת בלי לחנוק את המחשב.

מתאים ל

• תיאור וניתוח תמונות במק

  הוא מריץ הסברים על תמונות ישירות ממעבדי אפל בלי לשלוח נתונים החוצה.

• פיתוח יישומי ראייה אופליין

  משקל של 5.6 גיגה בייט מאפשר לשלב ראייה ממוחשבת בתוך כלי שולחני מקומי.

• ניתוח מסמכים ארוכים עם גרפיקה

  חלון של 262 אלף טוקנים מאפשר להזין טקסט רב לצד תמונות רלוונטיות.

איפה זה נופל

יוצרי ההמרה מציינים במפורש שייתכן ותהיה גרסה ממוטבת וטובה יותר בעתיד, כך שההמרה הנוכחית אינה בהכרח היעילה ביותר שניתן להפיק מהארכיטקטורה. מעבר לכך, מדובר במודל מכווץ ברמת 4 ביט שמקריב מעט דיוק בפרטים חזותיים עדינים, ויש לבחון היטב את היכולת שלו בהבנת מסמכים ותמונות מורכבות לפני שמשלבים אותו בזרימת עבודה אמיתית.

אותה משפחה

Qwen3.5 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך מק עם מעבד מסדרת M1, M2, M3 או M4, יחד עם חבילת mlx-vlm מותקנת בפייתון. הקריאה מתבצעת בכמה שורות קוד דרך הפונקציות load ו־generate, או ישירות משורת הפקודה עם הפקודה mlx_vlm generate.

בגודל של 5.6 גיגה בייט הוא יעבוד יפה על מחשבים עם 16 גיגה זיכרון מאוחד בלי לדרוש משאבים כבדים. אם אתם עובדים על שרתי לינוקס או חומרה שאינה של אפל, המודל הזה בכלל לא רלוונטי עבורכם ועדיף לפנות לגרסת המקור או להשתמש ב־API מרוחק.

pip install -U huggingface_hub
hf download mlx-community/Qwen3.5-9B-MLX-4bit

הקבצים

13 קבצים במאגר, 5.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.3 GB
• model-00002-of-00002.safetensors600.4 MB
• tokenizer.json20.0 MB
• vocab.json6.7 MB
• model.safetensors.index.json123.6 KB
• chat_template.jinja7.8 KB
• config.json3.3 KB
• README.md2.0 KB
• .gitattributes1.6 KB
• processor_config.json1.3 KB
• tokenizer_config.json1.1 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B

הרישיון

המודל מופץ תחת רישיון apache-2.0 שהוא רישיון פתוח ומתירני במיוחד. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗