t5-v1_1-base
קוד פתוחgoogleapache-2.02022-03-02
גרסה נקייה של מודל השפה המוכר של גוגל, שמיועדת לאימון המשך בלבד. מקבלים ארכיטקטורה משופרת עם אקטיבציית GEGLU, אבל בלי שום כוונון למשימות קצה.
- 2.8 GBמשקל הקבצים
- 58,050הורדות בחודש
- 59לייקים
מה זה
גוגל הוציאו את גרסה 1.1 כדי לתקן החלטות ארכיטקטוניות מהגרסה הראשונה. במקום אקטיבציית ReLU פשוטה בשכבות הנסתרות, כאן עברו לשימוש ב־GEGLU, ביטלו את שיתוף הפרמטרים בין שכבת ה־embedding לשכבת הסיווג, וכיבו את ה־dropout בזמן הריצה על הנתונים המקדימים. השינויים האלה אמורים לתת תוצאות טובות יותר ברגע שמביאים את המודל להתאמה על משימה ספציפית.
ההבדל הכי מהותי מהגרסה הקודמת נמצא בדאטה. המודל עבר אימון רק על גבי קורפוס C4, באנגלית, בלי לערבב משימות מפוקחות כמו תרגום או מענה על שאלות. התוצאה היא משקל בסיס נקי לגמרי. הוא לא יודע לענות לכם ישר מהקופסה על הוראות או לסכם טקסט, כי המטרה שלו היא לשמש נקודת פתיחה בלבד עבור fine-tuning שלכם.
מתאים ל
- בסיס לאימון משימות באנגלית
נקודת מוצא נקייה למי שרוצה לאמן מודל סיווג או הפשטת טקסט על נתונים פנימיים שלו.
- בניית מנוע תיוג פנימי
קל לאמן אותו מחדש על חומרים שלכם ולחלץ ישויות במהירות על חומרה ביתית.
- מחקר על ארכיטקטורות T5
מתאים למי שבודק את השפעת שכבות GEGLU לעומת אימון מקורי של T5 על דאטה זהה.
איפה זה נופל
המודל הזה לא שמיש לקריאה ישירה. הוא אומן רק על חיזוי טקסט כללי ולא על מענה להוראות, כך שאם תשלחו לו שאלה, תקבלו ג׳יבריש או המשך טקסט חסר משמעות. הוא תומך באנגלית בלבד, לא מכיר עברית, ואי אפשר לשלב אותו במוצר בלי לעבור קודם תהליך אימון מלא על דאטה סט ייעודי.
שאלות
נפוצות
אפשר להשתמש בו ישירות לצ'אט או להוראות?
לא. המודל אומן על C4 בלבד ללא משימות בפיקוח. בלי fine-tuning הוא פשוט יפלוט טקסט לא קשור ולא יענה לשאלות.
האם הוא מבין עברית?
הכרטיס מדווח על אנגלית בלבד. אימון המקור נעשה על C4 באנגלית, כך שהוא לא מתאים למשימות בעברית.
איך מריצים
המשקל כולו תופס 2.8 גיגה בייט ומחולק לעשרה קבצים, כך שכל כרטיס מסך בסיסי עם 6 או 8 גיגה זיכרון יחזיק אותו בלי שום מאמץ. טוענים אותו דרך ספריית transformers בעזרת המחלקה T5ForConditionalGeneration. ההרצה המקומית פשוטה וזולה מאוד, ולכן אין שום סיבה לשלם ל־API חיצוני רק כדי להריץ משקל כזה קטן.
שימו לב שבזמן שאתם מאמנים אותו מחדש על הדאטה שלכם, חייבים להדליק את מנגנון ה־dropout בחזרה. גוגל כיבו אותו באימון הראשוני, אבל אימון המשך על דאטה קטן בלי dropout יגרום לו להתאים את עצמו יתר על המידה ולפגוע באיכות הפלט.
from transformers import pipeline
pipe = pipeline("text-generation", model="google/t5-v1_1-base")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש בתוך המוצר שלכם. אתם רק צריכים להשאיר את הודעת זכויות היוצרים המקורית ואת נוסח הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים