GPT
הוספת כלי
V

VAETKI

קוד פתוח

NC-AI-consortium-VAETKImit2025-12-16

  • safetensors
  • vaetki
  • VAETKI
  • causal-lm
  • text-generation

מודל שפה בתצורת תערובת מומחים עם 112 מיליארד פרמטרים שמתמקד בקוריאנית, אנגלית, סינית ויפנית. הוא מפעיל 10 מיליארד פרמטרים בכל טוקן ומתאים למי שבונה סוכנים מרובי שפות.

  • 112Bפרמטרים
  • 131,072טוקנים בהקשר
  • 209 GBמשקל הקבצים
  • 4,675הורדות בחודש

מה זה

קונסורציום NC-AI אימן כאן מודל רחב שמבוסס על 128 מומחים, כאשר בכל ריצה פועלים שמונה מהם בלבד. השילוב הזה נותן נפח ידע של רשת ענקית יחד עם עלות חישוב של מודל קטן בהרבה. המערכת מפרידה בין משימות שמפעילות כלים חיצוניים לבין שאר המשימות, ומעבירה רק את הכלים למצב עבודה ישיר בלי שלבי חשיבה ארוכים.

במבחני ביצועים מול מודל מתחרה בגודל דומה, כמו gpt-oss-120b, התמונה מעורבת. הוא מוביל במעקב אחר הוראות מורכבות באנגלית עם ציון 86.0 ב־IFEval, ומציג תוצאות טובות במבחני שפה קוריאניים מקומיים כמו CLIcK עם 75.5. מנגד, במשימות היגיון ומתמטיקה הוא מפגר בצורה מורגשת, למשל ציון של 53.2 לעומת 73.1 ב־GPQA-Diamond ו־70.6 לעומת 83.3 ב־HRM8K. זה מראה שהדגש הלך לשפות ולזרימת שיחה ולא לפתרון בעיות מדעיות.

מתאים ל

  • סוכנים לשווקים באסיה

    אינטגרציה קוריאנית, סינית ויפנית עם מצב הפעלת כלים מובנה שעוקף חשיבה מיותרת.

  • מעקב מדויק אחר פורמט

    ניתוח ועיבוד טקסטים באנגלית הדורשים ציות קפדני לכללים בזכות תוצאה גבוהה ב־IFEval.

  • תרגום מסחרי אזורי

    תרגום ישיר ועיבוד שפה בין קוריאנית לשפות המזרח ברישיון מסחרי פתוח לחלוטין.

איפה זה נופל

המפתחים עצמם מבהירים שהמודל מועד להזיות במשימות עובדתיות, מתקשה בחישובים מתמטיים מדויקים ולא מצטיין בהיגיון רב שלבי או כתיבת קוד קפדנית. בנוסף, חלון ההקשר מציג סתירה במסמכים בין 32,000 טוקנים לבין 131,072, כך שחובה לבחון את ההתנהגות שלו בפועל בטקסטים ארוכים. אין שום תיעוד ליכולות בעברית, והאימון התרכז באנגלית ובמזרח אסיה בלבד, כך שלא הייתי בונה עליו לשום מוצר מקומי.

שאלות
נפוצות

האם המודל מבין ומייצר עברית?

הוא לא אומן על עברית ולא מיועד לה. נתוני האימון התמקדו באנגלית, קוריאנית, סינית ויפנית. אם תכתבו לו בעברית הוא כנראה ייכשל או יחזיר פלטים משובשים.

למה צריך מודל של 112B אם רק 10B מופעלים?

חלוקת המומחים מאפשרת להחזיק בסיס ידע עצום בלי לשלם בזמן חישוב כבד על כל מילה. אתם מקבלים רוחב הבנה של מודל ענק במהירות תגובה שמזכירה מודל קטן, במחיר של צריכת זיכרון גרפי גבוהה.

איך מריצים

כדי להעלות את 209 הג'יגה של המשקולות לזיכרון בלי קוונטיזציה תצטרכו שרת עם לפחות ארבעה כרטיסי A100 או H100 של 80GB. מכיוון שרק 10.1 מיליארד פרמטרים פעילים בכל רגע, מהירות יצירת הטוקנים תהיה טובה בהרבה ממודל צפוף בגודל מלא, אבל הזיכרון הגרפי עדיין חייב להחזיק את כל 112 המיליארד.

המפתחים בנו את הארכיטקטורה על בסיס שינויים פנימיים ב־Megatron-Core, ולכן הקוד לא מובטח לעבוד ישר מהקופסה עם כל תשתית הפצה רגילה. אם אתם לא מחזיקים אשכול שרתים ייעודי שפועל מסביב לשעון לצורכי אסיה, שווה לבדוק אם יש שירותי ענן שמציעים אותו בחיבור מרוחק לפני שקונים ברזלים.

pip install -U huggingface_hub
hf download NC-AI-consortium-VAETKI/VAETKI

הקבצים

59 קבצים במאגר, 209 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא MIT, שזה הרישיון הפתוח והמתירני ביותר שקיים. אתם יכולים לקחת את המשקולות, להטמיע אותן במוצר מסחרי סגור, לשנות אותן כרצונכם ולמכור גישה, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית בתוך הקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗