flan-t5-large
קוד פתוחgoogleapache-2.02022-10-21
גרסה מכווננת הוראות של גוגל למודל T5 הוותיק, עם 783 מיליון פרמטרים. בוחרים בו כשמחפשים מודל קומפקטי שיודע לבצע משימות טקסט מוגדרות היטב בלי לדרוש משאבי ענק.
- 783Mפרמטרים
- 512טוקנים בהקשר
- 11.9 GBמשקל הקבצים
- 443,135הורדות בחודש
מה זה
גוגל לקחו את מודל ה־T5 המקורי ואימנו אותו מחדש על יותר מ־1,000 משימות שונות עם הנחיות ברורות. המבנה הוא עדיין ארכיטקטורת קידוד ופענוח קלאסית של רשתות טרנספורמר, מה שאומר שהוא מקבל טקסט קלט ומייצר טקסט פלט בהתאם למשימה שהוגדרה לו. ההבדל המרכזי מול ה־T5 הרגיל הוא היכולת שלו להגיב ישירות להוראות בלי שתצטרכו לאמן אותו קודם על הדאטה הספציפי שלכם.
בגודל של 783 מיליון פרמטרים הוא יושב בדיוק באמצע. הוא חזק משמעותית מגרסאות ה־small וה־base הקטנות, אבל עדיין נשאר קל בהרבה לניהול ביחס למודלי שפה מודרניים של עשרות מיליארדי פרמטרים. לפי נתוני המחקר של גוגל, שיטת אימון ההוראות הזו מאפשרת למודלים מסדרת פלאן להציג ביצועי מענה מבוססי דוגמאות בודדות שמתחרים במודלים שגדולים מהם פי כמה וכמה.
מתאים ל
- תרגום משפטים קצרים
הוא אומן על מגוון שפות ויודע לקבל הוראת תרגום ישירה ולהחזיר משפט מדויק.
- סיווג טקסט ותוויות
בזכות כוונון ההוראות הוא מזהה כוונות וקטגוריות מתוך טקסט קצר בלי אימון נוסף.
- מענה על שאלות מתוך פסקה
הוא מחלץ תשובות נקודתיות מתוך קטע טקסט נתון, כל עוד הוא לא חורג מ־512 טוקנים.
איפה זה נופל
המגבלה הכי קשה כאן היא חלון ההקשר. עם 512 טוקנים בלבד, אי אפשר להזין לו מסמכים ארוכים, תמלילי שיחות או קטעי קוד מורכבים, הוא פשוט יחתוך את הטקסט. הוא מתאים למשימות קצרות וממוקדות בלבד.
בנוסף, כרטיס המודל מציין במפורש שהדאטה שעליו הוא אומן לא עבר סינון לתכנים בוטים או הטיות, ושהוא מעולם לא נבדק בסביבות ייצור אמיתיות. אם אתם בונים על עברית, היא אמנם מופיעה ברשימת השפות הנתמכות, אבל המודל הזה אומן ברובו על אנגלית ואי אפשר להסתמך על איכות הפלט שלו בעברית בלי בדיקה קפדנית מראש.
שאלות
נפוצות
האם אפשר להשתמש בו כצ'אטבוט?
לא ממש. חלון ההקשר שלו מוגבל ל־512 טוקנים בלבד, כך שאין לו שום מקום לשמור היסטוריית שיחה. הוא מיועד למשימות של קלט יחיד ופלט יחיד ולא לניהול דיאלוג.
האם הוא יעבוד טוב בעברית?
עברית רשומה כאחת השפות בדאטה, אבל עיקר האימון נעשה באנגלית. הוא מסוגל להבין מילים או משפטים פשוטים, אך ייטה לטעויות תחביריות וידרוש בדיקה ידנית של התוצאות.
איך מריצים
אפשר להריץ אותו ישירות דרך ספריית transformers בפייתון, גם על מעבד רגיל וגם על כרטיס מסך. המשקל הכולל של הקבצים מגיע לכמעט 12 גיגה בייט, כך שאם אתם רצים על מעבד תצטרכו מספיק זיכרון עבודה כדי לטעון אותו בלי לתקוע את המערכת.
בריצה על כרטיס מסך מומלץ לטעון אותו בדיוק של 16 ביט או בכימות של 8 ביט כדי לחסוך מקום ולשמור על מהירות סבירה. אם אתם צריכים רק בדיקה מהירה או קריאות בודדות פעם ביום, הקמה ותחזוקה של שרת ייעודי בשבילו תהיה כאב ראש מיותר מול שליחת בקשות לשרת מנוהל קיים.
from transformers import pipeline
pipe = pipeline("text-generation", model="google/flan-t5-large")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 11.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל שוחרר תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקולות, והפצה מחדש בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים וצירוף עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים