GPT
הוספת כלי
S

SuperNova-Medius

קוד פתוח

arcee-aiapache-2.02024-10-02

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • mergekit

מודל 15B שזוקק ישירות משני ענקים, לאמה 405B וקוון 72B, לתוך בסיס של קוון 2.5. התוצאה נותנת רמת היגיון ועמידה בהנחיות שקרובה לדגמים כבדים בהרבה.

  • 15Bפרמטרים
  • 131,072טוקנים בהקשר
  • 27.5 GBמשקל הקבצים
  • 163הורדות בחודש

מה זה

מי שפיתח את הדגם הזה לקח את הארכיטקטורה של Qwen2.5-14B-Instruct וביצע עליה זיקוק משולב משני מורים שונים לגמרי. כדי להעביר ידע מ־Llama-3.1-405B החוקרים החליפו זמנית את אוצר המילים של קוון לזה של לאמה, אימנו על ההסתברויות שנשמרו, ואז החזירו את אוצר המילים המקורי ומיזגו את המשקלים עם זיקוק מקביל שנעשה מ־Qwen2.5-72B.

במבחנים שפורסמו הוא מציג שיפור מסוים על פני קוון המקורי. ב־IFEval לבדיקת דיוק בהוראות הוא מגיע ל־0.832 מול 0.827, וב־BBH שבוחן חשיבה מורכבת הוא מוביל עם 0.631. ההבדל הבולט ביותר הוא בחישובי מתמטיקה קשים, Math Level 5, שבו קוון 14B הרגיל קיבל אפס מוחלט והמודל הנוכחי הוציא 0.152.

מתאים ל

  • תמיכה טכנית מורכבת

    הזיקוק מ־405B מאפשר מענה מדויק על שאלות תכנות ופתרון בעיות בלי צורך להחזיק מודל ענק בשרת.

  • עמידה בהנחיות עיבוד מידע

    ציוני ה־IFEval הגבוהים מתאימים לחילוץ שדות או ניתוח שיחות לפי תבניות נוקשות בלי סטיות.

  • יצירת תוכן ארוך

    השילוב של יכולות ניסוח מתקדמות עם חלון של 131K טוקנים מתאים לכתיבת מסמכים טכניים ומאמרים.

איפה זה נופל

למרות השילוב עם לאמה, במבחן MuSR הדגם יורד מעט ל־0.402 בהשוואה ל־0.403 בקוון המקורי ו־0.415 בדגם הלייט שלהם, כך שבמשימות הבנה מרובות שלבים אין כאן יתרון ברור. בנוסף, בלוח המבחנים הפתוח של האגינג פייס המספרים נמוכים משמעותית מבדיקות היצרן, למשל 55.6 ב־IFEval לעומת 0.832. אין בכרטיס שום מידע על תמיכה בעברית, ולכן חובה לבדוק איכות פלט וטוקניזציה מקומית לפני שסומכים עליו לממשקים בעברית.

אותה משפחה

SuperNova-Medius יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

arcee-ai/SuperNova-Medius-GGUF1,314

שאלות
נפוצות

במה הוא עדיף על קוון 2.5 הרגיל?

הוא עבר אופטימיזציה עם מידע מלאמה 405B ודאטה־סט ייעודי בשם EvolKit. במבחני חשיבה, לוגיקה ומתמטיקה קשה הוא מוציא תוצאות עקביות וגבוהות יותר מהמקור.

האם הוא מתאים לשרת פיתוח מקומי קטן?

לא בקלות. קבצי המשקל דורשים קרוב ל־30 גיגה זיכרון רק לטעינה בסיסית. תצטרכו לכמת אותו ל־4 ביט או 8 ביט כדי להריץ אותו על כרטיס של 16 או 24 גיגה.

איך מריצים

המשקלים תופסים 27.5 גיגה בפורמט bfloat16 ומחולקים ל־16 קבצים. כדי להריץ אותו בלי כימות תצטרכו כרטיס עם לפחות 32 גיגה זיכרון וידאו, כמו A100 או זוג כרטיסי 24 גיגה, במיוחד אם תרצו לנצל את חלון ההקשר המלא שמגיע ל־131,072 טוקנים.

המפתחים עצמם מציעים חלופה בצורת API למודל ה־70B הגדול שלהם. אם אין לכם תשתית ענן ייעודית ודרישות אבטחה שמחייבות ריצה מקומית, החזקה של שרת בשביל 15B עשויה לעלות יותר משליחת פניות בודדות לשירות מנוהל.

from transformers import pipeline

pipe = pipeline("text-generation", model="arcee-ai/SuperNova-Medius")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להפיץ עותקים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי של המפתחים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗