flan-t5-base-samsum

מה זה

זהו עיבוד ישיר של המודל flan-t5-base שעבר אימון ייעודי על מאגר samsum, שמורכב כולו משיחות צ'אט וסמסים יומיומיים. המטרה כאן היא לקחת דיאלוג בין שניים או שלושה אנשים ולתמצת אותו לפסקה אחת קריאה. הוא לא מנסה להיות מנוע שיחה כללי, אלא כלי עיבוד שמקבל טקסט של דיאלוג ופולט את השורה התחתונה שלו.

במדדי ההערכה הרשמיים המודל מגיע לציון Rouge1 של כמעט 48 וציון Rouge2 של סביב 24, עם אורך פלט ממוצע של כ־17 טוקנים. בפועל המספרים האלה אומרים שהסיכומים שלו מאוד תמציתיים, שומרים היטב על שמות המשתתפים ועל הפעולות העיקריות שנקבעו בשיחה, בלי לנסות לכתוב מחדש את כל הפרטים הקטנים.

מתאים ל

• סיכום פניות תמיכה בצ'אט

  מתאים לתמצות של שיחות שירות קצרות ישר לתוך כרטיס הלקוח.

• תקציר הודעות וואטסאפ

  מייצר שורה אחת על החלטות שנקבעו בדיאלוג מהיר, כל עוד הוא קצר.

• עיבוד תמלילי שיחות קוליות

  מחלץ את הפואנטה משיחות טלפון קצרות שעברו המרה לטקסט באנגלית.

איפה זה נופל

המגבלה הכי קשה כאן היא חלון ההקשר, 512 טוקנים בלבד. אם תנסו להכניס שיחת וואטסאפ ארוכה או דיון קבוצתי של יום שלם, המודל פשוט יחתוך את הטקסט או יתעלם מרובו. מעבר לזה, המודל אומן על שיחות באנגלית ולא מתאים לעברית, והאימון הספציפי על צ'אטים גורם לו להיכשל אם מנסים לסכם באמצעותו מאמרים, מסמכים משפטיים או חדשות.

איך מריצים

המשקל הכולל של הקבצים עומד על 948 מגהבייט בדיוק float32, מה שאומר שהוא עולה ונשאר בזיכרון של פחות משני גיגהבייט. אפשר להריץ אותו בקלות דרך ספריית transformers על כל מחשב פיתוח מודרני, אפילו על מעבד רגיל בלי מאיץ גרפי בכלל, ולקבל זמני תגובה של שברירי שנייה לכל שיחה.

אם אתם צריכים לסכם רק כמה עשרות הודעות ביום ואין לכם שרת ייעודי שפועל כל הזמן, שירות ענן חיצוני פשוט יחסוך את הצורך לתחזק תשתית. אבל אם יש לכם זרם רציף של הודעות או שיקולי פרטיות של מידע רגיש, להחזיק תהליך עצמאי מקומי בגודל כזה זה פתרון זול ויציב שלא דורש תחזוקה כבדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="philschmid/flan-t5-base-samsum")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 948 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin990.4 MB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• logs/events.out.tfevents.1671812016.ip-172-31-95-43.46092.010.5 KB
• logs/1671812016.0361354/events.out.tfevents.1671812016.ip-172-31-95-43.46092.15.7 KB
• training_args.bin3.6 KB
• tokenizer_config.json2.5 KB
• README.md2.2 KB
• special_tokens_map.json2.2 KB
• config.json1.5 KB
• .gitattributes1.5 KB
• logs/events.out.tfevents.1671823577.ip-172-31-95-43.46092.2565 B
• .gitignore13 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה מחדש בתוך המוצר שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי תמלוגים ובלי חובה לחשוף את הקוד הפנימי שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗