Ring-mini-linear-2.0

מה זה

הארכיטקטורה משלבת שכבות של תשומת לב לינארית עם תשומת לב רגילה לצד מבנה תערובת מומחים. מתוך 16.4 מיליארד פרמטרים, המודל מפעיל רק 1.6 מיליארד בכל טוקן, יחס שפעול של אחד חלקי שלושים ושתיים. הבסיס שלו מגיע מאימון המשך של שש מאות מיליארד טוקנים על גבי מודל בסיס קודם של אותה סדרה.

המטרה כאן היא לפתור את צוואר הבקבוק החישובי של טקסטים ארוכים. המפתחים מדווחים על ביצועים שמגרדים מודלים צפופים של שמונה מיליארד פרמטרים כמו קוון שלוש, במבחני חשיבה, מתמטיקה ותכנות, תוך שמירה על זיכרון יציב ומהירות יצירה גבוהה.

מתאים ל

• עיבוד מסמכים ארוכים באנגלית

  תשומת הלב הלינארית מאפשרת לעבד נפחי טקסט עצומים בלי שהזיכרון יקרוס ביצירת הפלט.

• משימות תכנות ומתמטיקה

  המבחנים מראים יכולות היקש שמתחרות במודלים מקבילים תוך הפעלת עשירית מכמות הפרמטרים.

• שרתי היקש עם תפוקה גבוהה

  יחס שפעול נמוך של מומחים מאפשר יצירת טוקנים בקצב גבוה משמעותית ממודלים צפופים.

איפה זה נופל

המודל תומך רשמית באנגלית בלבד, ואין שום תיעוד או בדיקות לגבי יכולות בעברית. בנוסף, הארכיטקטורה המותאמת אישית מונעת שימוש בכלים סטנדרטיים של אופטימיזציה כמו זיכרון מטמון מבוסס רדיקס או קיצוץ תחיליות, ושתיהן מבוטלות מפורשות בהגדרות הריצה של המפתחים.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך שיכול להחזיק מעל שלושים ג'יגה בייט של משקלים, בדרך כלל כרטיס בודד של ארבעים ושמונה ג'יגה בייט או שמונה מאות, אחרת תצטרכו לחלק אותו בין שני כרטיסים צרכניים. הוא מוגדר בפורמט בי פלואוט שש עשרה ודורש קוד מרוחק וספריות ייעודיות כמו פלאש לינאר אטנשן.

ההטמעה במסגרות היקש דורשת כרגע התקנה של קובצי גלגל לא רשמיים, כי התמיכה במנועים כמו וי אל אל אם או אס ג'י לאנג עדיין לא ממוזגת במלואה לענפים הראשיים. אם אתם מחפשים משהו שעובד בלחיצת כפתור בסביבת שרת פשוטה, זה ידרוש תחזוקה ידנית של סביבת הפייתון.

from transformers import pipeline

pipe = pipeline("text-generation", model="inclusionAI/Ring-mini-linear-2.0")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 30.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors9.9 GB
• model-00002-of-00004.safetensors9.9 GB
• model-00001-of-00004.safetensors9.1 GB
• model-00004-of-00004.safetensors3.9 GB
• tokenizer.json7.7 MB
• model.safetensors.index.json1.3 MB
• modeling_bailing_moe_linear_v2.py82.7 KB
• README.md9.5 KB
• tokenizer_config.json4.2 KB
• configuration_bailing_moe_linear_v2.py3.4 KB
• config.json1.6 KB
• .gitattributes1.5 KB
• special_tokens_map.json152 B
• generation_config.json142 B

הרישיון

הרישיון הוא רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית של inclusionAI. אין הגבלות שימוש נוספות מעבר לזה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗