GPT
הוספת כלי
D

dynamic_tinybert

קוד פתוח

Intelapache-2.02022-03-02

  • transformers
  • pytorch
  • bert
  • question-answering
  • en

גרסה מכווצת של ברט שעושה מענה על שאלות מתוך טקסט נתון, ומיועדת להסקה מהירה במיוחד. היא מתאימה למי שצריך לחלץ תשובות קצרות בזמן אפס ובתקציב חומרה מינימלי.

  • 512טוקנים בהקשר
  • 256 MBמשקל הקבצים
  • 1,782הורדות בחודש
  • 83לייקים

מה זה

אינטל לקחו ארכיטקטורה של TinyBERT עם 6 שכבות ואימנו אותה בשיטות זיקוק ידע ממודל ברט מלא, על גבי סט הנתונים SQuAD 1.1. המטרה היא להוציא קטעי טקסט רלוונטיים מתוך פסקה לפי שאלה שהמשתמש שואל באנגלית.

הייחוד כאן הוא שימוש באופטימיזציה שמקצרת דינמית את אורך הרצף בזמן ריצה כדי לחסוך חישובים. לפי המדידות של החוקרים, המודל מגיע לציון F1 מקסימלי של 88.71, ומספק האצה של עד פי 3.3 בזמן ההסקה תוך ירידה של פחות מאחוז אחד בדיוק בהשוואה למודל ברט המקורי.

מתאים ל

  • שליפת תשובות ממסמכים

    איתור קטע מדויק מתוך מאמרי ידע או מדריכים קצרים באנגלית לפי שאלת משתמש.

  • מענה מהיר בעמדות קצה

    הסקה על מעבדים מקומיים במכשירים מוגבלי משאבים בלי להסתמך על שרתי ענן.

  • בוטים לתמיכה טכנית

    חילוץ משפטים מתוך ספרי תיעוד באנגלית לצורך תשובה מיידית לפניות פשוטות.

איפה זה נופל

הוא יודע לעבוד רק באנגלית, ולכן הוא לא רלוונטי למסמכים או שאלות בעברית. מעבר לזה, המשימה שלו מוגדרת באופן צר מאוד. הוא לא מייצר תוכן חדש, אלא רק מסמן מקטע ספציפי מתוך טקסט קיים באורך של עד 512 טוקנים. הנתונים מבוססים על ערכי ויקיפדיה, והחוקרים מציינים מפורשות שהוא עלול להכיל הטיות וסטריאוטיפים שקיימים בטקסטים האלה.

שאלות
נפוצות

האם הוא מסוגל לענות על שאלות בעברית?

לא. המודל אומן על SQuAD 1.1 שמכיל טקסטים באנגלית בלבד. אם תזינו לו טקסט בעברית הוא לא ידע לחלץ ממנו תשובות תקינות.

האם הוא מסוגל לנסח תשובה במילים שלו?

לא, הוא מיועד למשימת extraction בלבד. הוא מחזיר את המיקום של התשובה מתוך הפסקה שסיפקתם לו, ולא יוצר משפטים חדשים.

איך מריצים

המשקל הכולל של הקבצים הוא 256 מגה בייט בלבד, מה שאומר שאפשר להריץ אותו בלי בעיה על מעבד רגיל, בתוך קונטיינר קטן או אפילו על מחשב נייד בסיסי. אין כאן שום צורך במאיץ גרפי כבד כדי לקבל זמני תגובה טובים בייצור.

במשקל ובמורכבות הזו, אין שום סיבה לשלם לספקי ענן על קריאות API חיצוניות. טוענים אותו ישירות בעזרת ספריית transformers של פייתון ומקבלים מנוע מקומי עצמאי שלא תלוי ברשת.

from transformers import pipeline

pipe = pipeline("question-answering", model="Intel/dynamic_tinybert")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 256 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר ולחלק אותו הלאה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗