GPT
הוספת כלי
M

mt5-base

קוד פתוח

googleapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • mt5

גרסה רב לשונית של ארכיטקטורת T5 שאומנה על 101 שפות שונות, כולל עברית ויידיש. הבסיס הזה מתאים למי שבונה משימות טקסט מותאמות אישית בשפות שאינן רק אנגלית.

  • 6.5 GBמשקל הקבצים
  • 44,438הורדות בחודש
  • 265לייקים

מה זה

גוגל לקחו כאן את מבנה הטקסט לטקסט של T5 ואימנו אותו מחדש על קורפוס ענק בשם mC4 שמכיל 101 שפות. המודל יודע לקבל קלט טקסטואלי ולהפיק פלט טקסטואלי בכל אחת מהשפות האלו, מה שפותח אפשרות לעבוד על משימות עיבוד שפה שדורשות שפות מקומיות בלי להסתמך רק על משאבים באנגלית.

בניגוד לגרסאות מקוריות של T5 שעברו כוונון למשימות ספציפיות, כאן מדובר במודל גולמי לחלוטין. הוא לא יודע לענות על שאלות או לסכם מסמכים ישר מהקופסה, אלא מהווה תשתית משקלים נקייה שמיועדת למפתחים שמתכוונים לאמן אותו הלאה על משימה מוגדרת היטב.

מתאים ל

  • תרגום מכונה מותאם

    אימון ייעודי על צמדי שפות מתוך 101 השפות הנתמכות, במיוחד שפות עם פחות משאבים כמו עברית.

  • סיווג טקסט רב לשוני

    כוונון המשקלים כדי לסווג פניות או מסמכים בכמה שפות שונות תחת תשתית אחת.

  • תמצות מותאם בעברית

    בסיס התחלתי לפיין טיונינג על מאגרי סיכומים מקומיים בזכות התמיכה המובנית בשפה.

איפה זה נופל

הנקודה הקריטית ביותר היא שהמודל לא עבר שום אימון מפוקח. גוגל מציינים במפורש שהוא עבר אימון מקדים בלבד על טקסטים מהרשת, ולכן הוא לא שימושי לשום משימה מעשית עד שלא תעשו לו פיין טיונינג עצמאי עם דאטה מתויג. אם תנסו לתת לו הוראה ישירה בלי לכוונן אותו קודם, הוא פשוט לא יידע מה לעשות.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כצ'אטבוט?

לא. המודל עבר רק אימון מקדים כללי ולא אימון על שיחות או מילוי הוראות. כדי לקבל מענה קוהרנטי לשאלות, תצטרכו לאמן אותו קודם על דאטה מתאים.

האם הוא מבין עברית?

כן, עברית ויידיש נכללות ברשימת 101 השפות של מאגר mC4 שעליו הוא אומן. עם זאת, הוא מכיר את מבנה השפה ברמה הבסיסית וידרוש כוונון נוסף כדי לבצע משימות מורכבות.

איך מריצים

המשקלים שוקלים 6.5 גיגה בייט ומחולקים לעשרה קבצים שונים, כך שתוכלו לטעון אותם בקלות ישירות דרך ספריית transformers בסביבת פייתון. מומלץ להריץ את המודל על כרטיס מסך ייעודי עם זיכרון סביר כדי לאמן אותו בצורה סבירה או לייצר פלטים בזמן אמת בלי לחנוק את המעבד.

אם אתם רק מחפשים תשובה מוכנה לשאלה או בוט לשיחה קצרה, אין טעם להרים את המשקלים האלה עצמאית. הוא דורש שתשקיעו משאבי חישוב באימון נוסף, אחרת תקבלו פלטים שלא מתאימים למוצר עובד.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/mt5-base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 6.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 שמאפשר שימוש חופשי, כולל פיתוח מוצרים מסחריים והפצה שלהם. התנאי העיקרי הוא שמירה על הצהרת הרישיון ומתן קרדיט ליוצרים המקוריים, כך שאין מניעה לשלב אותו במערכות פנימיות או חיצוניות של חברות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗