GPT
הוספת כלי
T

t5_xxl_true_nli_mixture

קוד פתוח

googleapache-2.02022-12-07

  • transformers
  • pytorch
  • t5
  • text2text-generation
  • en

גרסה ענקית של T5 שנועדה למשימה אחת בלבד, הכרעה בינארית של הסקה לוגית בין שני טקסטים. אם אתם בודקים עקביות עובדתית במערכות טקסט, הוא מאומן בדיוק בשביל זה.

  • 512טוקנים בהקשר
  • 42.4 GBמשקל הקבצים
  • 3,861הורדות בחודש
  • 54לייקים

מה זה

גוגל לקחו פה את T5 בגרסת ה־XXL ואימנו אותו לפי השיטה של מאמר TRUE להערכת עקביות עובדתית, אבל עם תערובת דאטה ייעודית. במקום להשתמש ב־ANLI כמו במחקר המקורי, שילבו פה נתונים ממאגרי הסקה ובדיקת עובדות מוכרים כמו SNLI, MNLI, Fever, Scitail, PAWS ו־VitaminC.

הפלט שלו הוא לא טקסט חופשי ולא ציונים מורכבים, אלא פשוט התו 1 לגרירה לוגית או 0 לאין גרירה. המבנה דורש להזין לו הנחה והשערה בפורמט קבוע מראש. הוא שונה ממודלי שפה כלליים בגודל הזה בכך שהוא לא מנסה לייצר תשובות, לסכם או לפטפט, אלא מתמקד לחלוטין בווידוא שהשערה מסוימת נשענת על טקסט המקור.

מתאים ל

  • אימות עובדתי בתקצירי טקסט

    השוואת משפט מהסיכום מול פסקת המקור כדי לוודא שאין הזיות, כל עוד שניהם נכנסים ב־512 טוקנים.

  • סינון תוצאות ב־RAG

    בדיקה שתשובת המערכת נסמכת באופן ישיר על המסמך שנשלף מהמאגר לפני שמציגים אותה למשתמש.

  • זיהוי פרפרזות וסתירות

    אימות לוגי בין שני משפטים באנגלית באפליקציות של בדיקת עובדות או ניתוח טענות.

איפה זה נופל

המגבלה הכי גדולה כאן היא חלון ההקשר, שעומד על 512 טוקנים בלבד עבור ההנחה וההשערה ביחד. אי אפשר לזרוק עליו מאמר שלם ולבדוק אם הסיכום תואם לו, תצטרכו לפרק את הטקסט למשפטים או פסקאות קצרות. בנוסף, המודל אומן על אנגלית בלבד ולכן הוא לא רלוונטי לעברית, והוא מחזיר רק סיווג בינארי בלי שום הסבר או הסתברות מפורטת.

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל הוגדר ואומן על דאטה באנגלית בלבד. אם תזינו לו טקסטים בעברית הוא כנראה ייכשל לחלוטין בזיהוי הקשר הלוגי.

איך בדיוק מזינים לו את המידע?

הוא מצפה למבנה ספציפי ונוקשה. צריך לחבר את הטקסט כמחרוזת אחת שמתחילה במילה premise ואחריה הטקסט המקורי, ולאחר מכן hypothesis ואחריה המשפט שרוצים לאמת.

האם אפשר להשתמש בו לשיחה או לכתיבת תוכן?

ממש לא. למרות שהוא מבוסס על T5-XXL, הוא עבר כוונון למשימת סיווג בינארית. הוא מחזיר רק את התווים 1 או 0, ולא ייצר שום טקסט מעבר לזה.

איך מריצים

כדי להריץ אותו מקומית צריך להיערך למשקל כבד. הקבצים לבדם שוקלים 42.4 ג'יגה בייט והמשקלים שמורים ב־float32, מה שאומר שתצטרכו שרת עם זיכרון וידאו עצום, או לחלופין לפצל אותו על פני כמה כרטיסים גרפיים חזקים אם אתם מריצים אותו ישירות דרך ספריית transformers.

אם אין לכם קלאסטר כזה זמין ומתוחזק, להרים אותו עצמאית רק בשביל להוציא 0 או 1 זה כאב ראש תשתיתי יקר. במקרה כזה כדאי לשקול להשתמש בפתרונות API קיימים או לכווץ אותו, כי העלות של החזקת חומרה ייעודית למודל של עשרות ג'יגה בייטים היא משמעותית.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/t5_xxl_true_nli_mixture")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 42.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש במוצר שלכם. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות על המפתחים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗