GPT
הוספת כלי
U

umt5-xxl

קוד פתוח

googleapache-2.02023-07-02

  • transformers
  • pytorch
  • text2text-generation
  • multilingual
  • af

גרסת ענק של T5 רב־לשוני מבית גוגל, שמכסה 107 שפות כולל עברית. הוא מיועד למי שצריך בסיס רחב לאימון משימות שפה מורכבות במגוון שפות במקביל.

  • 48.3 GBמשקל הקבצים
  • 183,120הורדות בחודש
  • 63לייקים

מה זה

גוגל אימנו את המודל הזה על גרסה מעודכנת של מאגר mC4 שכוללת 29 טריליון תווים ב־107 שפות שונות. החידוש העיקרי כאן הוא שיטת דגימה בשם UniMax, שנועדה לתת ייצוג הוגן ומאוזן יותר לשפות הנפוצות, בלי ליצור התאמת יתר בשפות שיש בהן פחות טקסט ברשת.

בניגוד למודלים שמוכנים לשיחה ישר מהקופסה, זהו מודל בסיס נקי מסוג ארכיטקטורת UMT5ForConditionalGeneration. הוא לא עבר שום אימון עם הנחיות או פיקוח אנושי, אלא רק מילוי פערים בטקסט רציף על פני מאגר ענק של שפות, ביניהן עברית, יידיש וערבית.

מתאים ל

  • אימון בסיס לתרגום

    הוא אומן על 107 שפות עם דגימה מאוזנת, ולכן מתאים כבסיס לפיין־טיונינג של תרגום מכונה.

  • סיכום טקסטים רב־לשוני

    ארכיטקטורת sequence-to-sequence שלו אידיאלית למשימות תמצות אחרי אימון ייעודי על דאטה מתאים.

  • מחקר של ייצוגי שפה

    הוא מספק משקלים רחבים למי שחוקר את התנהגות שיטת UniMax על שפות עם מעט משאבים.

איפה זה נופל

המודל הזה לא שמיש לשום משימה בעולם האמיתי כמו שהוא. גוגל מציינים בפירוש שהוא עבר אימון מקדים בלבד, ללא שלב מפוקח כלל, ולכן חובה לאמן אותו אימון המשך על נתונים ספציפיים לפני שהוא יוכל לענות על שאלות, לתרגם או לסכם משהו.

שאלות
נפוצות

אפשר לשלוח לו פרומפט ולקבל תשובה כמו בצ'אט?

לא. המודל עבר אימון מקדים בלבד ולא עבר התאמה להוראות או שיחות. אם תנסו לדבר איתו, הוא פשוט ינסה להשלים טקסטים ולא יבין מה אתם רוצים ממנו.

האם הוא תומך בעברית?

כן, עברית ויידיש נכללות ברשימת 107 השפות של מאגר האימון mC4 שבו גוגל השתמשו. עדיין תצטרכו לאמן אותו על המשימה שלכם בעברית כדי שהוא יפיק פלט הגיוני.

איך מריצים

המשקל של הקבצים מגיע ל־48.3 גיגה־בייט בדיוק של float32, מה שאומר שבשביל רק לטעון אותו לזיכרון תצטרכו כמה מאיצי GPU חזקים או שרת ייעודי כבד במיוחד. מריצים אותו דרך ספריית transformers הרגילה של פייתון.

אם אין לכם תשתית של עשרות או מאות גיגה־בייט של זיכרון גרפי פנוי רק לתהליך האימון, אין שום טעם לנסות להרים אותו מקומית. עדיף להשתמש בשרתים מנוהלים בענן או לחפש צ'קפוינט קטן יותר מסדרת umt5.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/umt5-xxl")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 48.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי חופשי לחלוטין, שינוי של הקוד והפצה מחדש. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי של גוגל.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗