bart-large-cnn-samsum

מה זה

הבסיס כאן הוא מודל שתוכנן במקור לסכם כתבות חדשותיות ארוכות, אבל עבר כוונון ייעודי על מאגר של שיחות יומיומיות. במקום לחפש מבנה של פסקאות עיתונאיות, הוא מנסה לתפוס דיאלוגים בין כמה דוברים, להבין מי רצה מה, ולפלוט תקציר ענייני.

במדדי ההערכה הוא קיבל ציון של כארבעים ואחת נקודות במבחן החפיפה של המילים מול סיכומי שיחה שנכתבו בידי אדם. זה אומר שהוא מזהה לא רע את העיקר בשיחות קצרות, אבל הוא עדיין שייך לדור הישן יותר של מודלי שפה ייעודיים למשימה יחידה ולא למודלים רב תכליתיים מודרניים.

מתאים ל

• סיכום שיחות תמיכה

  הפקת תקציר קצר מתוך דיאלוג בין לקוח לנציג שירות באנגלית.

• תקצור פגישות צ'אט

  הפיכת חילופי דברים בערוצי טקסט לנקודות עיקריות בתוך מגבלת האורך.

• עיבוד תעתיקי אודיו

  צמצום שיחות מוקלטות שכבר תומללו לטקסט באנגלית לקריאה מהירה.

איפה זה נופל

הבעיה הגדולה ביותר נמצאת כבר בשורת הפתיחה של היוצר שלו, הוא ממליץ בפירוש לעבור למודל חדש יותר שמשיג תוצאות טובות יותר באותה משימה בדיוק. בנוסף, חלון ההקשר מוגבל לאלף עשרים וארבעה טוקנים בלבד באנגלית. אם השיחה שלכם מתארכת, המודל פשוט יחתוך אותה ולא יראה את הסוף. עברית בכלל לא באה בחשבון כאן.

איך מריצים

טוענים אותו ישירות דרך ספריית הטרנספורמרס בפייתון עם צינור הסיכום הרגיל. הקבצים שוקלים קצת יותר משישה גיגהבייט, כך שתצטרכו כרטיס גרפי סביר עם לפחות שמונה גיגה זיכרון כדי לקבל זמני תגובה שמתאימים למוצר חי.

אם כל מה שאתם צריכים זה לסכם פניות שירות פעם בכמה דקות, אפשר להריץ אותו גם על מעבד בלי לשבור את הראש. למי שאין לו כוונה לתחזק שרת עצמאי או להתמודד עם זיכרון גרפי, קריאה לשירות ענן מנוהל תהיה פשוטה בהרבה.

from transformers import pipeline

pipe = pipeline("summarization", model="philschmid/bart-large-cnn-samsum")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 6.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoint-500/optimizer.pt3.3 GB
• checkpoint-500/pytorch_model.bin1.6 GB
• pytorch_model.bin1.6 GB
• checkpoint-500/vocab.json798.3 KB
• vocab.json798.3 KB
• checkpoint-500/merges.txt456.4 KB
• merges.txt456.4 KB
• test_generations.txt184.6 KB
• README.md5.7 KB
• checkpoint-500/training_args.bin2.4 KB
• training_args.bin2.4 KB
• checkpoint-500/config.json1.6 KB
• config.json1.6 KB
• all_results.json1.3 KB
• .gitattributes690 B
• trainer_state.json641 B
• checkpoint-500/scheduler.pt559 B
• checkpoint-500/trainer_state.json486 B
• train_results.json457 B
• eval_results.json454 B
• test_results.json438 B
• checkpoint-500/tokenizer_config.json300 B
• tokenizer_config.json300 B
• checkpoint-500/special_tokens_map.json239 B
• special_tokens_map.json239 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. המשמעות פשוטה מאוד, אתם רשאים לקחת את המשקלים, להטמיע אותם במוצר מסחרי, לשנות את הקוד ולהריץ הכל בכל תשתית שתבחרו בלי לשלם תמלוגים, כל עוד אתם משאירים את הצהרת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗