t5-base

מה זה

מדובר בארכיטקטורת קידוד ופענוח עם 223 מיליון פרמטרים שמטפלת בכל קלט ופלט כמחרוזות טקסט בלבד. במקום לתפור ראש סיווג נפרד לכל בעיה או להסתמך על מודלים שמחזירים רק תווית יחידה, הקונספט כאן אחיד לחלוטין. קלט הטקסט מנוסח כמשימה, למשל תרגום או בדיקת סנטימנט, והפלט הוא טקסט גולמי שנפלט מהמפענח.

האימון נעשה על מאגר C4 העצום בשילוב משימות מפוקחות רבות כמו מענה לשאלות, ניתוח דמיון בין משפטים והסקה לוגית. בכרטיס המודל מוגדר המוקד סביב תרגום, אך המשקולות האלו כוללות יכולת מוכחת להתמודד עם מגוון רחב של משימות עיבוד שפה קלאסיות בארבע שפות מוגדרות: אנגלית, צרפתית, רומנית וגרמנית.

מתאים ל

• תרגום טקסטים קצרים

  הוא מיועד לעבודה בין אנגלית, צרפתית, גרמנית ורומנית עבור משפטים וקטעים שלא עוברים את מגבלת 512 הטוקנים.

• סיווג משפטים וסנטימנט

  מאחר שהוא אומן על משימות כמו ניתוח רגש והסקת מסקנות, הוא מחזיר תוויות טקסטואליות מדויקות על קלטים קצרים.

• חילוץ תשובות מטקסט

  המבנה שלו כולל אימון מובנה על מענה לשאלות מתוך פסקאות קצרות באנגלית, ישירות מתוך המידע שמופיע בקלט.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד, מה שמונע ממנו לקרוא מסמכים ארוכים או לנהל שיחות מתמשכות. בנוסף, הוא לא כולל עברית כלל אלא רק אנגלית, צרפתית, גרמנית ורומנית, כך שהוא לא רלוונטי למי שבונה מוצר מקומי לשוק הישראלי. כרטיס המודל מציין בפירוש שחסר מידע לגבי הטיות וסיכונים, ולכן לפני שילוב שלו במערכת צריך לבדוק היטב איך הוא מתנהג עם קלטים חריגים.

אותה משפחה

t5 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים את המשקולות בעזרת ספריית transformers בסביבת פייתון פשוטה. הקבצים שוקלים 4.2 גיגה בייט, כך שכל כרטיס מסך בסיסי עם מעט זיכרון ייעודי מריץ אותו בלי למצמץ, ואפשר לעבוד איתו בקלות אפילו על גבי מעבד מרכזי בלבד.

לא צריך שירותי ענן חיצוניים או תשלום על כל קריאה עבור מודל במשקל כזה. אם רוצים לשלב אותו בתוך שירות מקומי או בקוד פנימי, ההרצה העצמית פשוטה, זולה, ומאפשרת לשמור על כל המידע אצלכם בלי תלות ברשת.

from transformers import pipeline

pipe = pipeline("translation", model="google-t5/t5-base")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 4.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5892.1 MB
• pytorch_model.bin891.7 MB
• rust_model.ot891.7 MB
• model.safetensors891.6 MB
• flax_model.msgpack891.6 MB
• tokenizer.json1.4 MB
• spiece.model791.7 KB
• README.md8.5 KB
• config.json1.2 KB
• .gitattributes537 B
• generation_config.json147 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא וחופשי. אתם יכולים לשנות את הקוד, לכלול אותו בתוך מוצר סגור, ולהפיץ אותו ללקוחות, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗