t5-3b

קוד פתוח

google-t5apache-2.02022-03-02

transformers
pytorch
tf
safetensors
t5

גרסת שלושה מיליארד פרמטרים מבית גוגל שהופכת כל בעיית עיבוד שפה למשימת טקסט אל טקסט. היא מיועדת בעיקר למי שמחפש מודל מבוסס ומאומן היטב למשימות תרגום ועיבוד ממוקדות.

2.9Bפרמטרים
512טוקנים בהקשר
31.9 GBמשקל הקבצים
418,677הורדות בחודש

מה זה

הארכיטקטורה כאן שונה ממודלי שפה שמנחשים רק את הטוקן הבא. מדובר במודל שמקבל מחרוזת קלט ופולט מחרוזת פלט, תפיסה שמאפשרת להריץ עליו מגוון רחב של משימות כמו תרגום, ניתוח סנטימנט, מענה לשאלות ובדיקת דמיון בין משפטים באותו אופן בדיוק.

האימון נעשה על מאגר C4 יחד עם שילוב משימות מפוקחות ממערכי נתונים מוכרים כמו SuperGLUE, SQuAD ודומיהם. במקום להחזיק ראש נפרד לכל סוג בעיה כמו שהיה נהוג במודלי אנקודר ישנים, הוא פותר הכל דרך פרומפט טקסטואלי ישיר ומחזיר את התוצאה כטקסט נקי, כולל שפות כמו אנגלית, צרפתית, גרמנית ורומנית.

מתאים ל

תרגום טקסטים קצרים
מתאים לתרגום מדויק בין אנגלית, צרפתית, גרמנית ורומנית בתוך גבולות חלון ההקשר המוגבל.
סיווג וניתוח סנטימנט
ממיר טקסט קלט לתווית מילולית ישירה כחלק מאימון המשימות המפוקח שעבר מראש.
מענה לשאלות מתוך פסקאות
מחלץ תשובות מתוך קטעי טקסט מוגדרים שלא חורגים מ־512 טוקנים.

איפה זה נופל

החיסרון המרכזי כאן הוא חלון הקשר קצרצר של 512 טוקנים בלבד, מה שמונע לחלוטין עבודה עם מסמכים ארוכים, קוד מורכב או שיחות מתמשכות. מודלים מודרניים מציעים פי כמה מזה בלי להתאמץ.

בנוסף, הכרטיס מציין תמיכה רק באנגלית, צרפתית, גרמנית ורומנית. עברית לא נכללת במאגרי האימון הרשמיים של הגרסה הזו, כך שלטקסטים בעברית הוא פשוט לא מתאים וייכשל. כדאי לזכור שכרטיס המודל מודה במפורש שחסר מידע על מגבלות נוספות, הטיות וסיכונים, ולכן חובה לבדוק את התוצאות ביסודיות לפני שילוב שלו במערכת אמיתית.

אותה משפחה

t5 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

t5-base4,361,832 t5-11b25,485

שאלות
נפוצות

האם כדאי להשתמש בו לעיבוד טקסטים בעברית?

לא, המודל אומן על אנגלית, צרפתית, רומנית וגרמנית בלבד. הוא לא מכיר עברית ואינו מיועד לפעול בה, כך שעבור שפה מקומית יש לחפש מודלים ייעודיים אחרים.

איזה כרטיס מסך צריך כדי להריץ אותו מקומית?

הקבצים שוקלים 31.9 גיגה בייט, ולכן תצטרכו כרטיס מסך מקצועי או שרת ענן עם לפחות 24 עד 32 גיגה זיכרון וידאו פנוי כדי לטעון אותו כמו שצריך. ללא התאמות או שרת ייעודי, הוא יקרוס מחוסר זיכרון.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־31.9 גיגה בייט ומחולק לשמונה קבצים, מה שאומר שהרצה מקומית דורשת כרטיס מסך רציני עם מספיק זיכרון וידאו, או פריסה על שרת ייעודי בענן עם GPU חזק. אי אפשר להריץ אותו בנוחות על חומרה ביתית פשוטה ללא קוונטיזציה או אופטימיזציה מראש.

הטעינה נעשית דרך ספריית transformers בפייתון. אם אתם צריכים רק מענה נקודתי או שאין לכם תשתית שרתים שמחזיקה כרטיס עם יותר מ־16 או 24 גיגה זיכרון, עדיף להשתמש בשירות מנוהל שחושף אותו ב־API במקום להסתבך עם אחסון וניהול קבצים כבדים כאלה אצלכם.

from transformers import pipeline

pipe = pipeline("translation", model="google-t5/t5-3b")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 31.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0, רישיון קוד פתוח מתירני מאוד. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗