switch-c-2048

קוד פתוח

googleapache-2.02022-11-04

transformers
pytorch
switch_transformers
text2text-generation
en

מפלצת של 1.6 טריליון פרמטרים מבית גוגל, שמבוססת על 2048 מומחים. פותחה בעיקר כהוכחת היתכנות לאימון מודלים דלילים עצומים במהירות גבוהה.

2.9 TBמשקל הקבצים
442הורדות בחודש
302לייקים

מה זה

גוגל לקחה את הארכיטקטורה המוכרת של T5 והחליפה את שכבות הפיד-פורוורד הרגילות ברשתות מומחים דלילות. במקום להפעיל את כל המשקלים בכל צעד, הרשת מנתבת כל טוקן למומחה מסוים מתוך 2048 המומחים הקיימים. המודל אומן על קורפוס C4 במשימת מילוי מילים חסרות, ומגיע למשקל קבצים חריג של כמעט שלושה טרה-בייט.

במאמר המקורי החוקרים מצביעים על מהירות אימון גבוהה פי ארבעה בהשוואה לגרסת T5-XXL הרגילה. זה הישג הנדסי מרשים שמראה איך מגיעים לסדרי גודל של טריליון פרמטרים בלי לקרוס חישובית, אבל המודל הזה אינו צ'אטבוט ואינו מיועד למענה על שאלות מהקופסה.

מתאים ל

מחקר ארכיטקטורות MoE
ניתוח התנהגות של מודלי שפה בעלי מעל טריליון פרמטרים וחלוקת עומסים בין אלפי מומחים.
בסיס לאימון מודל מותאם
המשך אימון במשימות ספציפיות באנגלית בעזרת כוונון עדין על גבי משקלי הבסיס.
בדיקת תשתית מחשוב
מבחן מאמץ קיצוני לחלוקת משקלי ענק ואחסון מבוזר באשכולות GPU ו־TPU גדולים.

איפה זה נופל

המודל מגיע ישירות משלב ה־Pre-training ומכיר רק השלמת טוקנים חסרים בתבניות מובנות של מסכות. הוא לא עבר fine-tuning למשימות ספציפיות, לא מבין עברית כי אומן רק על אנגלית, וכרטיס המודל לא מספק שום מידע על הטיות, סיכונים או התנהגות אתית מעבר להפניה למאמר המקורי.

שאלות
נפוצות

האם המודל מוכן לשימוש ישיר כמנוע שיחה?

לא. המודל אומן רק למשימת Masked Language Modeling של השלמת קטעים חסרים בטקסט. כדי להפיק ממנו תועלת במשימות יומיומיות יש צורך לבצע לו fine-tuning מורכב.

האם אפשר להריץ אותו על גבי שרת מקומי?

לא באופן מעשי עבור רוב המפתחים. קבצי המודל שוקלים 2.9 טרה-בייט ומחייבים חומרה ייעודית מרובת מאיצים או שימוש איטי במיוחד בהזרמת נתונים מהדיסק.

איך מריצים

כדי להתמודד עם משקל של 2.9 טרה-בייט המחולק על פני 372 קבצים, שרת בודד לא יעזור בלי פריסה מורכבת של אוף-לואוד לדיסק דרך ספריית accelerate. הוא נכתב ואומן במקור על פודים של Google Cloud TPU v3 או v4 עם קוד של t5x ו־jax, אך קיים מימוש בסיסי בפייתון באמצעות transformers עבור מעבדים או מאיצים גרפיים בתצורות BF16 ו־INT8.

אם אין לכם אשכול מחשוב ייעודי עם נפח אחסון מהיר במיוחד וזיכרון עצום, אין היתכון טכני או כלכלי לנסות להריץ אותו בעצמכם. במרבית המקרים שבהם מחפשים תוצאות דומות למשימות קצה, עדיף להשתמש בגרסאות מכווננות וקלות בהרבה כמו FLAN-T5.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/switch-c-2048")
print(pipe("שלום"))

הקבצים

372 קבצים במאגר, 2.9 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון Apache 2.0 מאפשר שימוש חופשי בקוד ובמשקלים, כולל התאמה, שינוי ושימוש מסחרי במוצרים פרטיים. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, לצד ציון שינויים שבוצעו בקוד.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗