Qwen3.8-27B-INT8-W8A16-MTP

מה זה

מדובר במודל שמשלב עיבוד תמונה וטקסט עם ארכיטקטורה היברידית של 64 שכבות, שרובן מבוססות מנגנון תשומת לב ליניארי מסוג גייטד דלתא-נט וחלקן תשומת לב מלאה. ההמרה מורידה את המשקולות לדיוק של שמונה ביטים, אבל משאירה חלקים רגישים בדיוק מלא של 16 ביטים כדי לא לפגוע באיכות. בין החלקים שנשארו בדיוק המקורי נמצאים מודול הראייה, ראש החיזוי, והרכיב שמאיץ את ייצור הטקסט.

בדיקות הסטייה מראות התאמה של 99.36 אחוזים לבחירות של המודל המקורי, שזה דיוק גבוה בהרבה מהגרסה הרשמית שנבדקה באותם תנאים. המבנה הזה מצליח לשמור על יציבות גם בבדיקות רצף של 4,000 טוקנים בלי צבירת שגיאות. לצד זה, המערכת כוללת מנגנון מובנה שמנחש שלושה טוקנים קדימה ומאפשר קצב ייצור של עד כמעט 70 טוקנים לשנייה.

מתאים ל

• ניתוח מסמכים חזותיים ארוכים

  מנוע הראייה נשמר ברמת דיוק מלאה ומאפשר לקרוא צילומי עמודים מרובים בהקשר של מעל 200 אלף טוקנים.

• שרת מקומי לפיתוח יחיד

  מאפשר לעבוד באופן מקומי ופרטי על זוג כרטיסים ביתיים עם קצב פלט מהיר בזכות חיזוי טוקנים מובנה.

• עיבוד תמונות וקוד משולב

  התאמה של מעל 99 אחוז לבחירות המקור במשימות תכנות מאפשרת לחלץ נתונים ולכתוב קוד לפי צילומי מסך.

איפה זה נופל

שמירת זיכרון של חלקי משפטים עלולה לגרום לפלט שגוי בקריאות לפונקציות או בהקשרים ארוכים, אלא אם מטליאים את הקוד של מנוע ההרצה בתשע שורות ספציפיות. מעבר לזה, טיפול בשתי בקשות במקביל ומעלה גורם לקריסות אקראיות של הדרייבר בגלל באג בזיכרון, ולכן כרגע בטוח להריץ אותו רק מול משתמש יחיד. בנוסף, חלון ההקשר המורחב למיליון טוקנים שקיים במודל המקורי אינו שמיש כאן, כי מאגר הזיכרון הנוכחי מוגבל פיזית ל־266 אלף טוקנים בלבד.

איך מריצים

בשביל להריץ אותו צריך שני כרטיסי מסך מדגם אר-טי-אקס 3090 עם 24 גיגה-בייט זיכרון בכל אחד, שמחוברים בלי צורך בגשר פיזי מהיר ביניהם. המודל תופס קצת פחות מ־15 גיגה-בייט בכל כרטיס, מה שמשאיר מקום למאגר של כ־266 אלף טוקנים בזיכרון המשותף תחת דחיסת אף-פי 8. ההרצה דורשת שימוש בספריית וי-אל-אל-אם דרך קרנל מיוחד שמחלץ את המשקולות בזמן אמת, והוא אינו מתאים לתוכנות כמו לאמה סי-פי-פי כי הוא לא מופץ כקובץ ג'י-ג'י-יו-אף.

אם אתם צריכים תעבורה גבוהה לכמה משתמשים במקביל, עדיף להשתמש בשירות ענן מנוהל. בהקשרים ארוכים במיוחד, מעל 100 אלף טוקנים, לוקח למודל מעל מאה שניות רק לפלוט את המילה הראשונה. מול בקשות ארוכות כאלה, התשתית הביתית הזו מחזיקה משתמש יחיד בלבד בכל רגע נתון.

pip install -U huggingface_hub
hf download lued/Qwen3.8-27B-INT8-W8A16-MTP

הקבצים

18 קבצים במאגר, 29.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00006.safetensors5.4 GB
• model-00003-of-00006.safetensors5.3 GB
• model-00005-of-00006.safetensors5.3 GB
• model-00002-of-00006.safetensors5.3 GB
• model-00001-of-00006.safetensors5.3 GB
• model-00006-of-00006.safetensors4.1 GB
• model_mtp.safetensors849.4 MB
• tokenizer.json20.0 MB
• model.safetensors.index.json198.1 KB
• README.md25.1 KB
• config.json20.7 KB
• tokenizer_config.json11.4 KB
• chat_template.jinja10.0 KB
• .gitattributes1.6 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json385 B
• recipe.yaml269 B
• generation_config.json202 B

הרישיון

הקוד והמשקולות מופצים תחת רישיון אפאצ'י 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המודל, הפצה מחדש והטמעה בתוך מוצרים, ללא תשלום תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי בכל הפצה של הקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗