GPT
הוספת כלי
F

flan-t5-xl

קוד פתוח

googleapache-2.02022-10-21

  • transformers
  • pytorch
  • tf
  • jax
  • safetensors

גרסה מכווננת הוראות של גוגל למודל T5 המוכר, שנועדה לתת מענה מיידי למשימות עיבוד שפה ישירות בלי אימון מקדים נוסף. פתרון מתאים למי שצריך תרגום, מענה לשאלות או הסקת מסקנות במודל עצמאי.

  • 2.8Bפרמטרים
  • 512טוקנים בהקשר
  • 42.5 GBמשקל הקבצים
  • 162,166הורדות בחודש

מה זה

גוגל לקחו את ארכיטקטורת T5 והעבירו אותה כיוונון עדין על יותר מאלף משימות שונות מבוססות הוראות. המבנה הוא מודל רצף לרצף, כלומר הוא מקבל טקסט ומחזיר טקסט ישירות, מה שהופך אותו למתאים במיוחד למשימות מוגדרות מראש כמו תרגום או מענה לשאלות על בסיס קטע נתון.

בגודל של 2.8 מיליארד פרמטרים, המודל הזה מציג ביצועים גבוהים בלמידה ללא דוגמאות או עם מעט דוגמאות בהשוואה למודלים ישנים באותו סדר גודל. המחקר המקורי מדווח שהכיוונון עם הוראות אפשר לגרסאות האלו להתחרות במשימות מסוימות אפילו מול מודלי ענק של עשרות מיליארדי פרמטרים, בעיקר בזכות ההבנה של מבנה הפקודות והשילוב של שפות רבות, כולל עברית.

מתאים ל

  • מענה על שאלות מטקסט קצר

    הוא מיומן מאוד בחילוץ תשובות מתוך פסקאות קצרות הודות לאימון הייעודי על הוראות ושאלות.

  • תרגום בין שפות

    המודל תומך ברשימה ארוכה של שפות, כולל עברית, ומבצע תרגום ישיר באמצעות פקודה פשוטה.

  • מחקר והסקה לוגית

    מיועד במקור לבחינת יכולות הסקה ללא דוגמאות קודמות במודלי שפה בגודל בינוני.

איפה זה נופל

חלון ההקשר עומד על 512 טוקנים בלבד. אי אפשר להזין לו מסמכים שלמים, חוזים ארוכים או שיחות מרובות שלבים. בנוסף, המודל אומן על טקסטים שלא עברו סינון מלא לתכנים פוגעניים או הטיות, ולכן הוא מסוגל לפלוט מידע שגוי או מוטה. החוקרים עצמם מזהירים שהוא לא נבדק בסביבות ייצור אמיתיות ולא מיועד לשימוש ישיר במוצר בלי בדיקות בטיחות והתאמה קפדניות.

שאלות
נפוצות

האם המודל עובד טוב בעברית?

הוא כולל עברית ברשימת השפות שהוא מכיר ומסוגל לבצע משימות בסיסיות כמו תרגום. עם זאת, מכיוון שחלון ההקשר קצר והאימון הראשי נשען על מקורות מגוונים, כדאי לבדוק את איכות הפלט בעברית על המשימה הספציפית שלכם לפני שמסתמכים עליו.

כמה זיכרון וידאו צריך כדי להריץ אותו?

בדיוק מלא של 32 ביט תצטרכו עשרות גיגה בייט של זיכרון, מה שמחייב מאיצים חזקים מאוד. בשימוש בכימות ל־8 ביט או דיוק של 16 ביט תוכלו להסתדר עם כרטיס גרפי מתקדם שמחזיק בין 16 ל־24 גיגה בייט זיכרון.

איך מריצים

בדיוק ברירת המחדל שלו, המודל שוקל מעל 40 גיגה בייט בגלל קבצי משקולות מרובים. להריץ אותו ככה על כרטיס גרפי ביתי זה עניין לא פשוט, ותצטרכו חומרה עם זיכרון וידאו רציני.

בפועל אפשר להריץ אותו דרך ספריית transformers בקלות יחסית עם פייתון, ומומלץ מאוד להשתמש בטעינה של 16 ביט או בכימות של 8 ביט כדי לחסוך מקום בזיכרון. אם אין לכם שרת עם מאיץ ייעודי מתאים, שווה לשקול פתרון ענן במקום להילחם עם החומרה המקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/flan-t5-xl")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 42.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להתאים אותו ולהפיץ אותו בתוך מוצר חופשי או מסחרי. התנאים העיקריים הם שמירה על הודעת זכויות היוצרים וציון השינויים שביצעתם בקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗