GPT
הוספת כלי
Q

Qwen3.5-27B-4bit

קוד פתוח

mlx-communityapache-2.02026-02-24

  • transformers
  • safetensors
  • qwen3_5
  • image-text-to-text
  • mlx

גרסת קוונטיזציה של מודל מולטימודלי כבד, מותאמת ישירות לאפל סיליקון דרך ספריית MLX. היא דוחסת 27 מיליארד פרמטרים לנפח של 15 גיגהבייט כדי לעבד תמונות וטקסט מקומית על מחשבי מק.

  • 27Bפרמטרים
  • 262,144טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 5,313הורדות בחודש

מה זה

מדובר בהמרה של Qwen 3.5 בגודל 27B שנעשתה באמצעות כלי mlx-vlm בגרסה 0.3.12, במטרה לאפשר ריצה חלקה על חומרת Mac בלי להסתמך על שרתי ענן. המודל שייך לקטגוריית משימות של image-text-to-text, כך שהוא מקבל גם תמונות וגם פקודות טקסט ומחזיר פלט טקסטואלי.

חלון ההקשר עומד על 262,144 טוקנים, נתון חריג למדי שמיועד להתמודד עם קלטים ארוכים מאוד וניתוח משולב של תמונות ומסמכים מורכבים. עם משקל כולל של 15.0 גיגהבייט המחולק בין 15 קבצים, ההמרה ל־4 ביט מכוונת ישירות למפתחים שמחפשים ביצועי מודל גדול יחסית, מבלי להחזיק תחנת עבודה ייעודית עם כרטיסי מסך תעשייתיים.

מתאים ל

  • ניתוח תמונות ומסמכים במק

    מאפשר תיאור והבנת תמונות מקומית על מחשבי אפל, מבלי להוציא קבצים רגישים אל מחוץ למכשיר.

  • בדיקות ופיתוח מולטימודלי

    בדיקת שאילתות מורכבות על מודל 27B בהרצה מקומית, בעזרת התקנה פשוטה משורת הפקודה דרך mlx-vlm.

  • עיבוד קלטים ארוכים מקומית

    ניצול הקשר של 262,144 טוקנים לניתוח טקסט עשיר לצד תמונות, ישירות על חומרת אפל סיליקון.

איפה זה נופל

כרטיס המודל לא מציג שום מדידות ביצועים, בדיקות השוואה או פירוט לגבי פגיעת הדיוק שנגרמה מהקוונטיזציה ל־4 ביט. תצטרכו לבדוק בעצמכם עד כמה הוא מדויק בניתוח תמונות קשות, זיהוי פרטים קטנים או שמירה על היגיון טקסטואלי. בנוסף, הכרטיס לא מפרט כלל מגבלות שפה או רמת תמיכה בעברית, כך שחובה לוודא שהוא לא מייצר הזיות מול קלטים מורכבים לפני שמחברים אותו לקוד אמיתי.

אותה משפחה

Qwen3.5 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Qwen3.5-9B-MLX-4bit26,271 Qwen3.5-4B-MLX-4bit25,341 Qwen3.5-35B-A3B-4bit5,665

שאלות
נפוצות

האם אפשר להריץ את המודל הזה על שרת לינוקס עם כרטיס Nvidia?

לא. המודל הומר לפורמט MLX שמיועד בלעדית למעבדי Apple Silicon ומערכת macOS. אם אתם צריכים סביבת CUDA, חפשו את משקלי המקור או גרסאות קוונטיזציה בפורמטים כמו GGUF או AWQ.

כמה זיכרון אחוד במק נדרש בפועל?

המשקלים דורשים 15.0 גיגהבייט רק כדי לשבת בזיכרון, ולזה מתווסף זיכרון עבור מערכת ההפעלה ופעולת המודל. מחשב עם 16 גיגהבייט ייכנס למצוקת זיכרון קשה, ולכן מומלץ מק עם לפחות 24 או 32 גיגהבייט של זיכרון אחוד.

איך מריצים

כדי להריץ אותו מתקינים את ספריית mlx-vlm מבית אפל ומפעילים פקודת generate ישירות מהטרמינל, עם נתיב לתמונה וטקסט להנחיה. מאחר ומדובר בפורמט MLX ייעודי, הקבצים האלה יעבדו רק על מעבדי Apple Silicon ומערכת macOS, ולא על כרטיסי Nvidia או מחשבי לינוקס רגילים.

הקבצים תופסים 15.0 גיגהבייט, מה שאומר שאתם חייבים מק עם לפחות 24 או 32 גיגהבייט של זיכרון אחוד כדי שהמודל ייטען לצד מערכת ההפעלה ושאר היישומים. אם יש לכם רק 16 גיגהבייט זיכרון או שאתם צריכים תפוקה גדולה לייצור עם מאות משתמשים במקביל, עדיף לפנות ל־API חיצוני ולא לנסות להחזיק אותו מקומית.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="mlx-community/Qwen3.5-27B-4bit")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש. אין כאן הגבלות מיוחדות על שילוב במוצרים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי כנדרש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗