GPT
הוספת כלי
Q

Qwen3.5-35B-A3B-4bit

קוד פתוח

mlx-communityapache-2.02026-02-24

  • transformers
  • safetensors
  • qwen3_5_moe
  • image-text-to-text
  • mlx

גרסת קוונטיזציה של מודל מולטימודלי עם 35 מיליארד פרמטרים שמותאמת למחשבי מק. הוא מנתח תמונות וטקסט יחד על זיכרון אחוד בלי לחנוק את המעבד.

  • 35Bפרמטרים
  • 262,144טוקנים בהקשר
  • 19.0 GBמשקל הקבצים
  • 5,665הורדות בחודש

מה זה

מדובר בהמרה של מודל ראייה ושפה מבית Qwen לפורמט MLX, שרץ ישירות על החומרה של אפל. הארכיטקטורה מבוססת על תערובת מומחים, מה שאומר שרק חלק מהמשקלים פעיל בכל רגע נתון. זה נותן לו יכולת עיבוד של טקסט ותמונות יחד בלי לדרוש את כל כוח החישוב של מודל צפוף בגודל מלא.

המשקל ירד לארבעה ביטים, כך שהוא תופס 19 גיגה בייט בלבד. חלון ההקשר מגיע ל־262,144 טוקנים, מפתח שמאפשר להזין לו מסמכים ארוכים מאוד עם תרשימים וגרפיקה מבלי לקטום את המידע באמצע.

מתאים ל

  • ניתוח מסמכים חזותיים

    חלון הקשר ענק מאפשר להזין עמודים סרוקים ותרשימים ארוכים לפענוח מקומי על המק.

  • עיבוד תמונות אופליין

    ניתוח תמונות שכולל מידע רגיש שלא רוצים להעלות לשרתים חיצוניים או לענן.

  • בדיקות ופיתוח פרומפטים

    פיתוח מהיר של מערכות מולטימודל על מחשבי אפל סיליקון בלי תשלום על כל קריאה.

איפה זה נופל

הכרטיס מוסר מעט מאוד פרטים ומפנה למקור, כך שאין כאן שום מידע על מבחני ביצועים, מגבלות דיוק של הקוונטיזציה או תמיכה בשפות שאינן אנגלית. קוונטיזציה לארבעה ביטים במודלים מולטימודליים עלולה לפגוע בזיהוי פרטים קטנים בתמונות מורכבות או בטקסט צפוף. חובה לבדוק אותו על התמונות הספציפיות שלכם לפני שבונים עליו משהו אמיתי.

אותה משפחה

Qwen3.5 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Qwen3.5-9B-MLX-4bit26,271 Qwen3.5-4B-MLX-4bit25,341 Qwen3.5-27B-4bit5,313

שאלות
נפוצות

האם אפשר להריץ את המודל על לינוקס או ווינדוס עם כרטיס של אנבידיה?

לא, הגרסה הזו הומרה במיוחד עבור ספריית MLX שעובדת אך ורק על המעבדים של אפל. בשביל מחשב עם כרטיס מסך רגיל תצטרכו לחפש את המודל המקורי או גרסאות אחרות שלו.

כמה זיכרון עבודה צריך במק כדי שהוא יעבוד בלי בעיות?

הקבצים עצמם שוקלים 19 גיגה בייט, ולכן דרוש זיכרון אחוד של 24 או 32 גיגה בייט לפחות. אם תנסו להעמיס הקשר ארוך במיוחד, תצטרכו אפילו יותר כדי שהמחשב לא יזחל.

איך מריצים

כדי להריץ אותו מתקינים את ספריית mlx-vlm בפייתון ומפעילים ישירות משורת הפקודה עם קובץ תמונה ושאילתה. תצטרכו מחשב מק עם זיכרון אחוד של לפחות 24 גיגה בייט כדי שהמשקלים וההקשר ייכנסו בלי קריסות של המערכת.

אם יש לכם מחשב עם 16 גיגה בייט או פחות, חבל על הזמן שלכם כי המודל פשוט לא יעלה לזיכרון. במצב כזה עדיף לקרוא למודל דרך שירות ענן מרוחק ולא לנסות להריץ לוקאלית.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="mlx-community/Qwen3.5-35B-A3B-4bit")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 19.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה במוצרים שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי אחריות משפטית של המפתחים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗