t5-large
קוד פתוחgoogle-t5apache-2.02022-03-02
מודל טקסט לטקסט קלאסי עם 738 מיליון פרמטרים שמתאים למשימות עיבוד שפה מוגדרות היטב. הוא מציע פתרון עצמאי ויציב לתרגום וסיווג בלי תלות בספקי ענן חיצוניים.
- 738Mפרמטרים
- 512טוקנים בהקשר
- 11.0 GBמשקל הקבצים
- 408,005הורדות בחודש
מה זה
גוגל אימנו את המודל הזה על בסיס גישה שבה כל בעיה בעיבוד שפה מקבלת טקסט כקלט ומחזירה טקסט כפלט. במקום להוסיף ראש סיווג ייעודי כמו במודלי BERT, הוא משתמש באותה ארכיטקטורה כדי לתרגם, לתמצת, לענות על שאלות ולסווג רגשות דרך הוראות טקסטואליות פשוטות.
האימון שילב לימוד לא מונחה על מאגר C4 יחד עם עשרות משימות מונחות כמו תרגום, ניתוח סנטימנט והסקת מסקנות לוגית. בהשוואה למודלים קטנים יותר, המשקל שלו מעניק לו הבנה תחבירית ויכולת הפשטה עמוקות יותר באנגלית, צרפתית, גרמנית ורומנית.
מתאים ל
- תרגום טקסט ממוקד
מתאים לתרגום מדויק של פסקאות קצרות בין אנגלית, גרמנית, צרפתית ורומנית.
- סיווג טקסט וסנטימנט
ממיר טקסט קלט לתוויות סיווג ישירות דרך פורמט טקסטואלי אחיד.
- מענה על שאלות מקומי
חילוץ תשובות מתוך קטעי טקסט קצרים בסביבה מאובטחת ללא גישה לרשת.
איפה זה נופל
חלון ההקשר מוגבל ל־512 טוקנים בלבד, מה שפוסל אותו מטיפול במסמכים שלמים, קבצי קוד ארוכים או שיחות מתמשכות. בנוסף, הכרטיס לא מדווח על אימון בעברית, ולכן הוא לא מתאים לעיבוד טקסטים בשפה זו. המפתחים עצמם מציינים כי חסר מידע מלא בכרטיס לגבי הטיות וסיכונים, ולכן חובה לבדוק את הפלטים שלו ידנית לפני שילוב במוצר ייצורי.
שאלות
נפוצות
האם המודל תומך בעברית?
המודל אומן בעיקר על אנגלית, צרפתית, גרמנית ורומנית, ועברית אינה מופיעה ברשימת השפות הרשמית שלו. ניסיון לעבד טקסטים בעברית יפיק תוצאות משובשות ולא אמינות. לפרויקטים מקומיים עדיף לבחור מודל שאומן ייעודית על עברית או גרסאות רב לשוניות רחבות יותר.
האם כדאי להריץ אותו על מעבד רגיל במקום כרטיס מסך?
אפשר טכנית לטעון אותו על מעבד, אבל זמני התגובה יהיו איטיים מדי לכל שימוש אינטראקטיבי. גודל המודל דורש זיכרון RAM רב וכוח חישוב משמעותי. בשביל ביצועים שמתאימים לייצור נדרש כרטיס מסך ייעודי עם מספיק זיכרון וידאו.
איך מריצים
המשקל הכולל של הקבצים מגיע ל־11 גיגה בייט, כך שתצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון כדי להריץ הסקה יציבה בלי קריסות זיכרון. אפשר לטעון אותו ישירות דרך ספריית transformers בפייתון באמצעות T5ForConditionalGeneration.
אם אתם צריכים רק תרגום פשוט מדי פעם, עלויות התחזוקה של שרת ייעודי יהיו גבוהות ביחס לשירות API קיים. מנגד, אם יש דרישה לעיבוד מקומי מסיבות פרטיות או נפח עבודה קבוע, הרצה עצמית על גבי GPU בודד משתלמת בהחלט.
from transformers import pipeline
pipe = pipeline("translation", model="google-t5/t5-large")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 11.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי חופשי לחלוטין. מותר לכם לשלב אותו בתוכנה קניינית, לשנות אותו ולהפיץ אותו מחדש, כל עוד אתם שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים