flan-t5-small
קוד פתוחgoogleapache-2.02022-10-21
מודל שפה קומפקטי במיוחד שעבר אימון על הוראות בלמעלה מאלף משימות. הוא מתאים למי שחייב להריץ עיבוד טקסט מקומי על חומרה בסיסית ומוכן להסתפק במשימות מוגדרות וקצרות.
- 77Mפרמטרים
- 512טוקנים בהקשר
- 1.3 GBמשקל הקבצים
- 488,370הורדות בחודש
מה זה
גוגל לקחו את ארכיטקטורת T5 המוכרת ואימנו אותה מחדש על אוסף עצום של משימות עם הוראות ישירות. הגרסה הזו כוללת 77 מיליון פרמטרים בלבד, שזה זעיר בכל קנה מידה מודרני, אך השיפור מול T5 המקורי באותו הגודל מורגש ביכולת להבין מה רוצים ממנו בלי צורך בכוונון מקדים לכל משימה.
הוא מיועד למשימות כמו תרגום, מענה על שאלות ועיבוד שפה במספר רב של שפות, כולל עברית שנכללת ברשימת השפות של המודל. עם זאת, חלון ההקשר מוגבל ל־512 טוקנים בלבד, כך שאי אפשר להזין לו מסמכים שלמים או לצפות ממנו לנהל שיחות ארוכות.
מתאים ל
- תרגום טקסטים קצרים
ממיר משפטים קצרים בין שפות שונות ישירות על המעבד בלי תלות ברשת.
- מענה ממוקד על שאלות
חילוץ תשובות מתוך פסקאות קצרות שלא עוברות את תקרת 512 הטוקנים.
- סיווג טקסט בהוראות
ביצוע משימות קטלוג ומיון בעזרת ניסוח פשוט ללא צורך באימון מודל ייעודי.
איפה זה נופל
גוגל מציינים בפירוש שהמודל לא נבדק בתרחישים של העולם האמיתי, ומאגר האימון שלו לא סונן מראש לתוכן פוגעני או הטיות. הוא מסוגל לפלוט מידע שגוי, להעתיק הטיות מובנות, ובגודל של 77 מיליון פרמטרים היכולת הלוגית שלו מוגבלת מאוד. הוא עלול לקרוס בניסוחים מורכבים, ומסוכן לשלב אותו במוצר ללא בדיקות איכות ובקרת בטיחות הדוקה.
שאלות
נפוצות
האם המודל באמת עובד טוב בעברית?
עברית רשומה כאחת השפות הנתמכות, אך האימון העיקרי התמקד בשפות נפוצות בהרבה. עבור משימות פשוטות אפשר לקבל תוצאות סבירות, אך בניסוחים מורכבים או יצירת טקסט חופשי הוא יתקשה מאוד.
למה לבחור דווקא בגרסת ה־small ולא בדגמים הגדולים יותר?
השיקול המרכזי כאן הוא עלות חומרה ומהירות. אם אתם רצים על שרת זול ללא כרטיס מסך ייעודי או ישירות על מכשיר קצה, הגודל הזה מאפשר זמן תגובה מהיר שדגמים כבדים לא מסוגלים לתת.
איך מריצים
בזכות משקל קבצים של 1.3 גיגה-בייט בלבד, מריצים אותו בקלות על כל מעבד רגיל בלי לגעת בכרטיס מסך ייעודי. טוענים אותו ישירות דרך ספריית transformers בפייתון, והוא עולה לזיכרון כמעט בלי לתפוס משאבים, כך שאין שום הצדקה כלכלית לשלם על API חיצוני למשימות שהוא יודע לפתור.
אם רוצים לחסוך עוד יותר במשאבים או להאיץ זמני תגובה, אפשר להריץ אותו ב־GPU באמצעות דיוק של FP16 או אפילו INT8 עם bitsandbytes. מי שמפתח שירות עם נפח עבודה נמוך עד בינוני יכול לפרוס אותו ישירות בתוך הקונטיינר של האפליקציה.
from transformers import pipeline
pipe = pipeline("text-generation", model="google/flan-t5-small")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי מלא וחופשי. אתם רשאים לשנות את הקוד והמשקלים, להפיץ אותם, ולשלב אותם בתוך מוצרים מסחריים בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים