pegasus_paraphrase

מה זה

מדובר במודל שמבוסס על ארכיטקטורת פגסוס של גוגל, שעבר כוונון ייעודי למשימה אחת בלבד: שכתוב וניסוח מחדש של טקסט באנגלית. הוא לא מנסה להיות מודל שיחה כללי ולא מייצר תשובות לשאלות, אלא לוקח משפט קיים ומציע לו גרסאות חלופיות עם מבנה תחבירי שונה תוך שמירה על המשמעות המקורית.

בגודל של 2.1 ג'יגהבייט, הוא מציע פתרון ממוקד מאוד שלא דורש משאבים כבדים. אין כאן מנגנוני הנמקה מורכבים או זיכרון לשיחות קודמות, אלא כלי ישיר שמקבל קלט באנגלית ומחזיר מספר ניסוחים אפשריים בהתאם להגדרות החיפוש והטמפרטורה שאתם קובעים בקוד.

מתאים ל

• שכתוב משפטים באנגלית

  מייצר מגוון ניסוחים לאותו משפט קצר באנגלית, מקומית ומהר.

• אוגמנטציה של נתוני טקסט

  מרחיב מאגרי מידע לאימון מודלים על ידי יצירת וריאציות למשפטים קיימים.

• בדיקת וריאציות של קופי

  מציע חלופות טקסט קצרות לממשקי משתמש או כותרות בלי עלויות שרת חיצוני.

איפה זה נופל

המגבלה הכי קשה כאן היא אורך הקלט והפלט, שעומד על 60 טוקנים בלבד. אי אפשר להכניס אליו פסקאות, מאמרים או מסמכים שלמים, והוא מיועד למשפטים בודדים בלבד. בנוסף, הוא תומך אך ורק בשפה האנגלית, כך שעבור עברית הוא פשוט לא רלוונטי ולא יחזיר שום תוצאה סבירה.

איך מריצים

אתם מריצים אותו ישירות מתוך ספריית transformers בפייתון עם פגסוס טוקנייזר. בגלל המשקל הקל, 2.1 ג'יגהבייט בסך הכול, הוא רץ בקלות על כרטיס מסך בסיסי עם מעט זיכרון, ויעבוד בלי בעיה מיוחדת אפילו על מעבד רגיל אם אתם מוכנים לספוג זמני תגובה מעט איטיים יותר.

אם אתם צריכים לשכתב משפט פה ושם, או לעבד כמויות גדולות של נתונים מקומית מטעמי פרטיות או עלויות, הרצה עצמית כאן היא מהלך פשוט וזול. שירותי צד שלישי יהיו עדיפים רק אם אתם לא רוצים לתחזק שרתים כלל.

from transformers import pipeline

pipe = pipeline("text-generation", model="tuner007/pegasus_paraphrase")
print(pipe("שלום"))

הקבצים

7 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin2.3 GB
• spiece.model1.9 MB
• README.md2.1 KB
• config.json1.1 KB
• .gitattributes345 B
• tokenizer_config.json86 B
• special_tokens_map.json65 B

הרישיון

הרישיון הוא אפאצ'י 2.0, שזה רישיון פתוח ונוח מאוד. מותר לכם להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים שלכם ולהפיץ אותו, בתנאי שאתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗