GPT
הוספת כלי
M

mt5-large

קוד פתוח

googleapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • mt5

גרסה רב לשונית של T5 שגוגל אימנה על 101 שפות. היא מיועדת בעיקר כבסיס גולמי לאימון נוסף למשימות טקסט מגוונות.

  • 13.7 GBמשקל הקבצים
  • 232,175הורדות בחודש
  • 108לייקים

מה זה

מדובר במודל שממיר טקסט לטקסט ומבוסס על ארכיטקטורת MT5ForConditionalGeneration. גוגל בנתה אותו על בסיס קורפוס mC4, שכולל טקסטים שנסרקו מהרשת ב־101 שפות שונות, ביניהן עברית, ערבית, רוסית ואנגלית. הרעיון הוא לתת מענה רחב שאינו מוגבל רק לשפה האנגלית, בדומה למודל T5 המקורי.

ההבדל המשמעותי כאן הוא היקף השפות והעובדה שאין כאן כוונון מונחה מראש. המודל ראה כמויות גדולות של טקסט גולמי, אבל הוא לא אומן ישירות על משימה מוגדרת כמו תרגום או מענה לשאלות, ולכן הוא לא מתנהג כמו מודל שיחה שמוכן לעבודה מיד עם ההורדה.

מתאים ל

  • אימון מודל לעיבוד עברית

    הוא כולל עברית מראש מאימון mC4, ומתאים כבסיס יציב לכוונון עדין על דאטה מקומי.

  • בניית מנוע תרגום ייעודי

    כיסוי של 101 שפות נותן נקודת פתיחה טובה לאימון מודל תרגום בין צמדי שפות פחות נפוצים.

  • סיווג טקסט רב לשוני

    הארכיטקטורה מאפשרת לאמן אותו לייצר תוויות טקסטואליות עבור מסמכים שמגיעים בשפות שונות.

איפה זה נופל

הנקודה הקריטית ביותר מופיעה ישירות בכרטיס המודל. הוא עבר אך ורק אימון מקדים על קורפוס mC4 ללא שום אימון מפוקח. המשמעות היא שאי אפשר להשתמש בו כמו שהוא למשימות קצה. אם תשאלו אותו שאלה או תבקשו ממנו לתרגם, הוא לא יידע מה לעשות עד שלא תבצעו fine-tuning עם דאטה סט ייעודי למשימה שלכם.

שאלות
נפוצות

אפשר להוריד אותו ולהתחיל לתשאל אותו מיד?

לא. המודל עבר רק אימון מקדים כללי ולא אימון מונחה. בלי fine-tuning למשימה ספציפית הוא לא יחזיר תשובות הגיוניות.

האם הוא תומך בעברית?

כן, עברית מופיעה ברשימת 101 השפות של קורפוס mC4 שעליו המודל אומן. עם זאת, איכות הפלט תלויה באימון הנוסף שתבצעו עליו.

איך מריצים

המודל שוקל 13.7 גיגה בייט ומחולק לעשרה קבצים שרצים דרך ספריית transformers הרגילה של פייתון. כדי להריץ משקל כזה ולעשות אימון נוסף תצטרכו כרטיס מסך עם זיכרון וידאו משמעותי, אחרת התהליך ייחנק מהר מאוד.

אם אתם רק רוצים לבדוק התאמה למשימה נקודתית בלי להחזיק שרת יקר עם מעבדים גרפיים, כדאי לשקול פתרונות מנוהלים או מודלים מוכנים שכבר עברו התאמה במקום להרים סביבת אימון מאפס.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/mt5-large")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 13.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל או נגזרות שלו. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות על גוגל.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗