parrot_paraphraser_on_T5
קוד פתוחprithividaרישיון לא דווח2022-03-02
כלי מבוסס T5 שמייצר ניסוחים חלופיים למשפטים קצרים באנגלית כדי להרחיב דאטה למודלי NLU. הוא מתאים למי שבונה בוטים וצריך וריאציות למשפטי משתמש בלי להמציא הכל ידנית.
- 512טוקנים בהקשר
- 851 MBמשקל הקבצים
- 1,362,319הורדות בחודש
- 161לייקים
מה זה
מדובר במודל T5 מכוונן שמיועד לייצר פראפרזות למשפטים קצרים, ספציפית פקודות ושאלות שמופנות לצ'אטבוטים או לעוזרים קוליים. בניגוד לכלים גנריים לשכתוב טקסט, המטרה כאן היא אוגמנטציה של דאטה עבור אימון מנועי NLU, שבה חייבים לשמור על הכוונה המקורית ועל ישויות מתוך המשפט תוך שינוי המבנה והמילים.
בספריית Parrot המקורית המודל מופעל לצד מנגנוני סינון שבודקים שלושה מדדים: שמירה על המשמעות המקורית, תקינות לשונית של האנגלית, ורמת הגיוון הלקסיקלי והתחבירי. אפשר לקבוע ספי קבלה מדויקים לכל מדד כדי לסנן ניסוחים שלא שומרים על הכוונה של המשתמש.
מתאים ל
- הרחבת דאטה לאימון כוונות
הוא מייצר מגוון ניסוחים לאותה פקודה קצרה כדי לאמן מודלי סיווג בלי לאסוף הכל ידנית.
- בדיקות חוסן לצ'אטבוטים
מריצים דרכו שאילתות משתמש בווריאציות שונות כדי לבדוק אם הבוט מזהה את הבקשה בעקביות.
- שכתוב שאלות למנועי חיפוש
הוא מנסח מחדש שאלות של משתמשים כדי להגדיל את הסיכוי למצוא התאמות במאגרי ידע קיימים.
איפה זה נופל
המודל אומן ספציפית על דוגמאות באורך של עד 32 טוקנים, ולכן הוא לא מתאים לפסקאות, למאמרים או למסמכים ארוכים, למרות שחלון ההקשר הרשמי עומד על 512 טוקנים. הוא תומך באנגלית בלבד, ואין לו הבנה של עברית. בנוסף, מודלים גנרטיביים לא מבטיחים שימור מוחלט של ישויות, כך שלפני שדוחפים את התוצרים לאימון של מודל אחר, חייבים לבדוק שהשמות, הערים והמספרים לא שובשו בדרך.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה לטקסטים בעברית?
לא. המודל אומן על אנגלית בלבד ומערכות הניקוד המצורפות אליו מבוססות על שפה זו. הרצה של קלט בעברית תניב פלט משובש או חסר משמעות.
האם הוא מתאים לשכתוב פסקאות שלמות?
הוא לא מיועד לזה. המודל אומן על משפטים באורך של עד 32 טוקנים שמתאימים לפקודות קוליות או להודעות צ'אט, ולכן שכתוב טקסטים ארוכים יפגע באיכות הפלט.
איך מריצים
בגודל של 851 מגה-בייט, המודל הזה רץ בקלות על מעבד רגיל בלי לחייב כרטיס מסך ייעודי, אם כי ב־GPU תקבלו תגובה מהירה בהרבה. בספרייה transformers טוענים אותו ישירות בארכיטקטורת T5ForConditionalGeneration, או שמתקינים את חבילת parrot ישירות מגיטהאב ומקבלים יחד איתה את הפונקציות לדירוג ולסינון.
אם אתם צריכים רק מדי פעם להרחיב כמה עשרות דוגמאות אימון, הרצה מקומית על לפטופ פשוט תספיק ולא שווה להקים בשבילה שרת. לשימוש רציף בזמן אמת בתוך מוצר, עדיף להחזיק קונטיינר קטן משלכם על מכונה זולה.
from transformers import pipeline
pipe = pipeline("text-generation", model="prithivida/parrot_paraphraser_on_T5")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 851 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצר לא דיווח על רישיון בעמוד המודל. במצב כזה, מבחינה משפטית אין היתר שימוש ברור, לא לצרכים מסחריים ולא לפרויקטים פנימיים. אם אתם מתכננים להטמיע אותו במוצר מסחרי, מדובר בסיכון שדורש בדיקה מול היוצר או חיפוש הבהרה במאגר הקוד שלו.