T0_3B
קוד פתוחbigscienceapache-2.02022-03-02
גרסה מוקטנת של T0 לביצוע משימות שפה טבעית באנגלית באפס דוגמאות. הוא שוקל פחות מגרסאות ה־11 מיליארד פרמטרים, אבל דורש תשומת לב לדיוק החישוב.
- 2.8Bפרמטרים
- 21.2 GBמשקל הקבצים
- 1,690הורדות בחודש
- 102לייקים
מה זה
בבסיס שלו נמצא מודל קידוד-פענוח ממשפחת T5 שעבר אימון נוסף כמנוע שפה, ולאחר מכן כוונון עדין על תערובת רחבה של מאגרי נתונים מנוסחים כהוראות. המטרה של הפרויקט הייתה לבדוק איך מודל מתמודד עם משימה שמעולם לא ראה, רק על בסיס הוראה טקסטואלית רגילה. אתם מזינים שאלה, סיווג או בקשת שכתוב, והוא פולט את התשובה ישירות.
בניגוד לאחיו הגדולים בסדרה שמחזיקים 11 מיליארד פרמטרים, כאן יש 2.8 מיליארד פרמטרים בלבד. ההבדל הזה מורגש ישירות במבחנים. במדד WinoGender לזיהוי הטיות מגדריות, הגרסה הזו השיגה דיוק ממוצע של 69.7 בלבד, בהשוואה ל־89.2 של גרסת T0pp, ובמדד CrowS-Pairs הוא עומד על 56.9. זה אומר שהוא מפספס יותר בהבנת הקשרים עדינים, אבל עדיין מסוגל לענות על שאלות סגורות, תמצות וסיווג בסיסי באנגלית בלי שתצטרכו לאמן אותו מחדש.
מתאים ל
- סיווג טקסט באפס דוגמאות
זיהוי סנטימנט או שיוך נושא באנגלית לפי הוראה כתובה ישירות, בלי לאמן מודל ייעודי מראש.
- תמצות קטעים קצרים
עיבוד פסקאות באנגלית לטקסט קצר יותר דרך ארכיטקטורת קידוד-פענוח של T5.
- מחקר על הטיות ופרומפטים
בדיקת רגישות לניסוחי שאלות במודלים קטנים יחסית של 3 מיליארד פרמטרים.
איפה זה נופל
הכרטיס מציג פערים קשים באמינות ובבטיחות. המודל מייצר תשובות שגויות בעליל לשאלות עובדתיות פשוטות, ומאשר למשל שכדור הארץ שטוח ושחיסונים גורמים לאוטיזם. הוא נוטה לפלוט תכנים מיניים בוטים, קללות והטיות מגדריות כבדות, כמו שיוך נשים לתפקידי מטפלות וגברים לאדריכלים. בנוסף, בגלל הטוקנייזר שלו, הוא לא מסוגל לעבוד עם קוד או עם שפות שאינן אנגלית, כך שעברית בכלל לא באה בחשבון. שינוי קל בניסוח השאלה גורר תנודות חדות בתשובות.
אותה משפחה
T0 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעבודה בעברית?
לא. כרטיס המודל מגדיר את השפה שלו כאנגלית בלבד, ומציין מפורשות שבגלל תכנון מנגנון הטוקניזציה הוא לא יודע להתמודד עם שפות שאינן אנגלית. טקסט בעברית ישבר ולא ייקרא נכון.
למה המפתחים ממליצים להימנע מ־fp16?
המודל אומן עם שפעול ב־bf16. הרצה של המשקלים האלה תחת fp16 רגיל עלולה לייצר גלישות מספריות ותשובות מקולקלות, ולכן צריך להשתמש ב־bf16 על חומרה מתאימה או לעבור ל־fp32 מלא.
האם כדאי לבחור בו על פני T0pp הגדול?
היתרון היחיד פה הוא דרישות זיכרון נמוכות יותר, בזכות 2.8 מיליארד פרמטרים לעומת 11 מיליארד. הביצועים שלו במבחנים נמוכים משמעותית, כך שאם יש לכם משאבי מחשוב עדיף ללכת על הגרסה הגדולה.
איך מריצים
המשקל הכולל של הקבצים מגיע ל־21.2 ג'יגה-בייט שמחולקים לשמונה קבצים. כדי להריץ אותו דרך ספריית transformers בפייתון תצטרכו כרטיס מסך עם זיכרון ייעודי של 16 עד 24 ג'יגה-בייט, בהתאם לדיוק החישוב. המפתחים מציינים במפורש שהמודל אומן עם אקטיבציות בפורמט bf16, ומזהירים לא להריץ אותו ב־fp16 אלא ב־bf16 או fp32 כדי לא לשבור את התוצאות.
אם אין לכם כרטיס תומך בבית או בשרת, להרים מכונה ייעודית בשביל מודל בן שלוש שנים זה עסק יקר ומסורבל. במקרים שבהם אתם רק צריכים בדיקות היתכנות מהירות, עדיף להשתמש ב־API מנוהל שמחזיק מודלים מודרניים יותר במקום לשלם על תחזוקת שרת לעיבוד משימות כאלה.
from transformers import pipeline
pipe = pipeline("text-generation", model="bigscience/T0_3B")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 21.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני מאוד. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצר סגור. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים