Sehyo/Qwen3.5-122B-A10B-NVFP4

מה זה

מדובר בהמרה של המודל המקורי באמצעות כלי הדחיסה של vLLM לפורמט NVFP4, שמיועד לחומרה מודרנית שיודעת לעבוד עם דיוק של ארבע ביט. הארכיטקטורה כאן היא תערובת מומחים עם מעל שבעים מיליארד פרמטרים בפועל, כשהתהליך כויל על חמש מאות ושנים עשר דוגמאות ממאגרי צ'אט כדי לוודא שכל המומחים עברו התאמה ולא נשחקו בדחיסה.

המודל מעבד גם טקסט וגם תמונה, מגיע עם תמיכה מובנית בניבוי מרובה טוקנים לצורך פענוח ספקולטיבי, ופותח חלון הקשר עצום של מאתיים שישים ושניים אלף טוקנים. השילוב הזה נותן יכולת לקרוא מסמכים ארוכים או סדרות תמונות בלי לאבד את ההקשר המוקדם, כל עוד החומרה מחזיקה את המעמסה.

מתאים ל

• ניתוח מסמכים ותמונות

  חיבור ישיר בין פלט ויזואלי להבנת טקסט בהיקף גדול על חומרה מקומית.

• שרת הסקה עם שיהוי נמוך

  משקלי הניבוי המרובה מאפשרים פענוח ספקולטיבי שמאיץ את פליטת הטוקנים.

• סריקת טקסטים ארוכים

  הקשר של מעל מאתיים אלף טוקנים מתאים לעבודה עם תיעוד טכני כבד.

איפה זה נופל

הכיול נעשה על אורך רצף מקסימלי של ארבעת אלפים טוקנים בלבד, למרות שהמודל תומך על הנייר במאתיים שישים ושניים אלף טוקנים. זה אומר שבשיחות ארוכות או בעיבוד מסמכי ענק הוא עלול לאבד דיוק ולהתנהג פחות טוב מאשר בטקסטים קצרים. בנוסף, קוונטיזציה של ארבע ביט פוגעת לעיתים ביכולות היגיון עדינות, ודפי המודל לא מציגים מבחני ביצועים שמראים כמה איכות אבדה במעבר מהמקור.

איך מריצים

כדי להריץ אותו בפועל צריך כרטיסי מסך שתומכים בהרצת NVFP4 וגרסת פיתוח עדכנית של vLLM, כי גרסאות יציבות ישנות יותר פשוט לא יזהו את הפורמט. הקבצים עצמם שוקלים כמעט שבעים ושישה ג'יגה בייט, כך שאתם צריכים לפחות מאה ג'יגה בייט של זיכרון וידאו פנוי רק כדי לטעון אותו ולהשאיר מקום להקשר סביר.

אם אין לכם שרת ייעודי עם חומרה תואמת מהדורות האחרונים, אין טעם להסתבך עם התקנה מקומית. במקרה כזה עדיף לשלם לפי שימוש לספק שמחזיק את המודל המקורי בנקודת קצה מסודרת, במקום לשרוף שעות על קינפוג תלויות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="Sehyo/Qwen3.5-122B-A10B-NVFP4")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 75.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors50.0 GB
• model-00002-of-00002.safetensors26.4 GB
• extra_weights.safetensors5.0 GB
• tokenizer.json20.0 MB
• model.safetensors.index.json17.2 MB
• vocab.json6.7 MB
• config.json26.2 KB
• tokenizer_config.json16.7 KB
• chat_template.jinja7.8 KB
• .gitattributes1.6 KB
• README.md1.4 KB
• processor_config.json1.3 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• recipe.yaml234 B
• generation_config.json218 B

הרישיון

היוצר לא פרסם שום רישיון במאגר. מבחינה משפטית זה אומר שאין לכם היתר שימוש ברור, לא לצרכים מסחריים ולא לפיתוח פנימי בחברה. כל עוד הרישיון לא מוגדר, שילוב של הקבצים האלה במוצר חושף אתכם לסיכון של הפרת זכויות יוצרים, ועדיף לבדוק קודם את תנאי המקור של קוון לפני שנוגעים בהם.

הרישיון המלא בעמוד המודל ↗