Qwen3.8-27B-IU4-Kairic-Edge
קוד פתוחjcbtcapache-2.02026-08-22
גרסה מואצת של קוון בגודל עשרים ושבעה מיליארד פרמטרים. היא מיועדת ספציפית למי שמריץ מקומית על חומרת רדאון של איי.אמ.די ורוצה קצב יצירת טקסט גבוה במיוחד בקוד ובפרומפטים ארוכים.
- 26.1 GBמשקל הקבצים
- 3,025הורדות בחודש
- 44לייקים
מה זה
במקום סתם לכווץ משקלים לארבע ביט כדי לחסוך מקום, המודל הזה מחווט את החישוב ישירות לפקודת החומרה הטבעית של ארכיטקטורת אר.די.אן.איי שלוש וחצי. השיטה הזו עובדת במבנה כפול. קובץ ראשי מחזיק את המשקלים הרגילים ומבטיח דיוק, ועוד שלושה קבצי עזר מאיצים חלקים חישוביים כבדים כמו שכבות ההזנה קדימה, היטל הזיכרון החוזר והפלט.
במבחני קוד של יואל־פלוס המערך הזה הגיע לקצב ממוצע של ארבעים ושבעה טוקנים לשנייה, כמעט פי שניים מגרסאות ארבע ושש ביט נפוצות, תוך שמירה על דיוק של מאה חמישים ושמונה פתרונות מתוך מאה שישים וארבע משימות. בעיבוד מקדים של פרומפטים ארוכים ומחזוריים השימוש במטמון ייעודי חותך את זמן ההמתנה ביותר מתשעים ושמונה אחוזים.
מתאים ל
- פיתוח והשלמת קוד מקומי
קצב של מעל ארבעים ושבעה טוקנים לשנייה וציון גבוה במבחני קוד מאפשרים עבודה שוטפת כעוזר פיתוח מקומי מהיר.
- סוכן בדיקות אוטומטיות
מצב הדגימה הדטרמיניסטי מספק מענה יציב, זהה לחלוטין בכל הרצה ומהיר מאוד בניתוח תבניות קוד מובנות.
- עיבוד מסמכים ארוכים בתבנית קבועה
שמירת פרומפטים במטמון מקצצת זמני עיבוד ביותר מתשעים ושמונה אחוזים כשיש הקשר חוזר של אלפי טוקנים.
איפה זה נופל
התלות בחומרה מוחלטת. ההאצה לא נבדקה על כרטיסים של יצרנים אחרים ואפילו לא על דגמי איי.אמ.די מדורות שונים. בנוסף, המודל לא מאיץ כל פעולה. יצירת טוקן בודד במסלול הרגיל לא משתמשת בהאצה, ובגרסה האחרונה נאלצו לבטל את האימות המואץ המלא כי הוא גרם לשינוי בפלט המדויק.
מצב ברירת המחדל עובד רק בדגימה דטרמיניסטית נוקשה ודוחה קריאות לכלים או שימוש בעונשי חזרתיות. כדי להפעיל קריאות לפונקציות או דגימה יצירתית צריך להפעיל מצב תאימות ידני, מה שמוריד את מהירות היצירה בכעשרה אחוזים.
שאלות
נפוצות
האם אפשר להריץ את המודל דרך גרסה רגילה מהמדף?
לא. התוכנה הרגילה לא יודעת לקרוא את קבצי העזר ולא מכירה את הפקודות המותאמות. חייבים להוריד ולהדר את הגרסה שנבנתה לפרויקט הזה ממאגר הקוד הייעודי.
האם כרטיס גרפי של אנבידיה יפיק מזה תועלת?
לא. כל מנגנון ההאצה כאן נשען על פקודת חומרה של איי.אמ.די בארכיטקטורה ספציפית מאוד. על חומרה אחרת קבצי העזר לא יפעלו והמודל ירוץ במקרה הטוב במסלול הנסיגה הרגיל והאיטי.
למה יש ארבעה קבצים במקום קובץ יחיד?
המודל משתמש בשיטה שמפרידה בין המשקלים הראשיים לבין עותקים דחוסים של שכבות חישוב מסוימות. הקבצים הנוספים מחזיקים את החלקים שמוזנים ישירות לחומרה המואצת בזמן פעולות כבדות.
איך מריצים
אי אפשר לזרוק את הקבצים לתוך תוכנת ברירת מחדל רגילה. חייבים להדר ולהריץ גרסה מותאמת של רוקם שמבינה את קבצי העזר. ההרצה דורשת להוריד ארבעה קבצים ששוקלים יחד עשרים ושישה גיגהבייט, ומוגדרת מראש לחלון של מאתיים שישים ושניים אלף טוקנים עם הקצאה של שמונה גיגהבייט נוספים למטמון פרומפטים.
המערך הזה נבנה ונבדק אך ורק על מעבדי רייזן איי.איי מקס פלוס שלוש מאות תשעים וחמש עם שבב גרפי תואם. אם אין לכם את החומרה הספציפית הזו או לפחות מערכת דומה מאוד עם זיכרון אחוד, עדיף להשתמש בגרסת ענן דרך ממשק תכנות ולא לנסות להרים אותה עצמאית.
ollama run hf.co/jcbtc/Qwen3.8-27B-IU4-Kairic-Edge:Qwen3.8-27B-IU4-Kairic-Edge
הקבצים
8 קבצים במאגר, 26.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקבצים מופצים תחת רישיון אפאצ'י שתיים, שמתיר שימוש מסחרי מלא, שינוי והפצה של המודל בתוך מוצרים. עם זאת, קוד המנוע הייעודי וכלי הפיתוח שסביבו כפופים לרישיונות המקוריים של הפרויקטים מהם נלקחו, כך שמוצר מסחרי ידרוש בדיקה נפרדת של רכיבי ההרצה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים