GPT
הוספת כלי
A

aya-101

קוד פתוח

CohereLabsapache-2.02024-02-08

  • transformers
  • safetensors
  • t5
  • text2text-generation
  • afr

המודל הזה אומן לעקוב אחרי הוראות ב־101 שפות כולל עברית ויידיש. הוא נותן מענה רחב במיוחד למשימות רב־לשוניות על בסיס ארכיטקטורת T5 מוכרת.

  • 13Bפרמטרים
  • 48.2 GBמשקל הקבצים
  • 3,609הורדות בחודש
  • 665לייקים

מה זה

הפרויקט הזה של CohereLabs מבוסס על מבנה של mt5-xxl עם כמעט 13 מיליארד פרמטרים. המטרה המרכזית שלו היא ביצוע הוראות בעשרות שפות, כולל שפות עם מעט מאוד מידע ברשת, תחום שבו רוב המודלים הקיימים מתקשים מאוד. האימון כלל 25 מיליון דוגמאות ממאגרים כמו xP3x ו־Aya Dataset על גבי חומרת TPU ייעודית.

לפי הבדיקות של החוקרים, הוא עוקף מודלים רב־לשוניים פתוחים מקבילים כמו mT0 ו־BLOOMZ במבחנים אוטומטיים ובהערכות אנושיות. היתרון כאן הוא לא עוד מודל שמבין רק אנגלית ועוד שתיים־שלוש שפות אירופיות, אלא כזה שנבנה מראש לטפל גם בעברית, ערבית ושפות אזוריות אחרות באותה רמת תמיכה.

מתאים ל

  • תרגום ומענה בעברית

    עברית מוגדרת כנתמכת באימון ומתאימה למשימות ניסוח ותרגום.

  • עיבוד טקסט בשפות נדירות

    כיסוי של 101 שפות מאפשר לעבד מסמכים בשפות שאין להן מענה ברוב המודלים.

  • מחקר על הטיות ורעילות

    המודל שוחרר כבסיס פתוח לבדיקת בטיחות והתנהגות בשפות שונות.

איפה זה נופל

זהו מודל מסוג Seq2Seq ולא מודל שיחה מודרני מבוסס דקודר בלבד. כרטיס המודל לא מציג מדדי ביצועים ישירים בתוך הטקסט אלא מפנה למאמר האקדמי, ואינו מפרט חלון הקשר מדויק או התנהגות מול קוד ומתמטיקה. CohereLabs מציינים במפורש שהם משחררים אותו כדי שהקהילה תחקור רעילות והטיות בשפות שונות, מה שאומר שחובה לבדוק היטב את הפלטים שלו לפני שחושפים אותו למשתמשי קצה.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב נייד חזק?

לא במצבו המקורי. הקבצים שוקלים 48.2 ג'יגה־בייט בדיוק מלא, ודורשים שרת עם כרטיס מסך של 80 ג'יגה זיכרון או מערך כרטיסים מקבילי כדי להיטען.

איך המודל מתמודד עם עברית?

עברית נמצאת ברשימת השפות שבהן הוא אומן ומסווגת ברמת משאבים בינונית. הוא יודע לעקוב אחרי הוראות בעברית, אם כי מומלץ לבדוק את איכות הפלט מול המשימה הספציפית שלכם.

איך מריצים

המשקלים שפורסמו מגיעים בדיוק של float32 ושוקלים 48.2 ג'יגה־בייט שמחולקים לעשרים קבצים. כדי להריץ אותו כמו שהוא צריך כרטיס גרפי כבד מאוד עם לפחות 60 עד 80 ג'יגה זיכרון וידאו, כמו A100, או לחלופין לפצל אותו על כמה כרטיסים דרך ספריית transformers.

אם אין לכם שרת ייעודי כזה בחברה, אין טעם להילחם בו במצב ברירת המחדל שלו. עדיף לכמת אותו לפורמט קל יותר או להשתמש במכונות ייעודיות בענן לפי שעה כדי לבדוק התאמה.

from transformers import pipeline

pipe = pipeline("text-generation", model="CohereLabs/aya-101")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 48.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להריץ אותו בענן ולשלב אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗