GPT
הוספת כלי
D

distilbart-cnn-12-6

קוד פתוח

sshleiferapache-2.02022-03-02

  • transformers
  • pytorch
  • jax
  • rust
  • bart

גרסה מזוקקת ומהירה של BART שמיועדת לתמצות טקסטים באנגלית. היא חוסכת משאבי ריצה כמעט בלי לאבד מאיכות הסיכום של מודל המקור.

  • 1,024טוקנים בהקשר
  • 3.8 GBמשקל הקבצים
  • 877,113הורדות בחודש
  • 325לייקים

מה זה

מדובר במודל שנוצר כדי לפתור בעיית ביצועים קלאסית בתמצות טקסט. המפתחים לקחו את bart-large-cnn המקורי, שמחזיק ב־406 מיליון פרמטרים, כיווצו אותו ל־306 מיליון פרמטרים וקיצצו בשכבות הפיענוח. המטרה כאן היא לקבל תמצית של מאמר או כתבה בלי לשלם את מלוא המחיר החישובי.

התוצאות במבחני הביצועים מראות שהקיצוץ הזה עובד. עם זמן ריצה של 307 מילישניות לעומת 381 במקור, מקבלים שיפור מהירות של פי 1.24. במקביל, מדדי ROUGE מראים שהאיכות כמעט לא זזה: ציון Rouge-2 של 21.26 מול 21.06 במקור, וציון Rouge-L של 30.59 לעומת 30.63. בקיצור, אתם מרוויחים זמן תגובה בלי להרגיש ירידה ברמת הסיכום.

מתאים ל

  • תמצות מאמרי חדשות

    הוא אומן על דאטה חדשותי של CNN ומתמחה בהפקת פסקאות תמציתיות מכתבות.

  • סיכום פוסטים באנגלית

    מתאים לטקסטים קצרים עד בינוניים שנכנסים לתוך מגבלת 1,024 הטוקנים.

  • הפקה מהירה בסביבת שרת

    מספק מהירות גבוהה פי 1.24 ממודל הבסיס בלי לפגוע באיכות מדדי התמצות.

איפה זה נופל

חלון ההקשר עומד על 1,024 טוקנים בלבד. אי אפשר לזרוק אליו מסמכים שלמים, דוחות פיננסיים ארוכים או ספרים, והוא פשוט יחתוך כל מה שמעבר לזה. בנוסף, הוא אומן על אנגלית בלבד. אם תנסו להריץ עליו עברית, הוא ייכשל לגמרי כי הוא לא מבין את השפה.

צריך גם לזכור שהוא אומן ספציפית על סגנון כתיבה חדשותי של CNN. אם הנתונים שלכם כוללים שיחות צ'אט, סלנג או טקסטים טכניים מורכבים, התוצאות עלולות להיות עילגות מאוד.

שאלות
נפוצות

האם המודל תומך בתמצות טקסטים בעברית?

לא. המודל אומן על אנגלית בלבד ואינו כולל תמיכה בעברית. ניסיון להזין טקסט בעברית יפיק פלט שגוי או ג'יבריש.

איך הוא מסתדר עם מאמרים ארוכים במיוחד?

הוא מוגבל לחלון של 1,024 טוקנים בלבד. טקסט ארוך מזה ייחתך בהזנה, ולכן בשביל מסמכים כבדים תצטרכו לפצל את המידע מראש.

איך מריצים

כדי להריץ אותו טוענים את המשקלים ישירות דרך ספריית transformers באמצעות BartForConditionalGeneration. הקבצים שוקלים סך הכול 3.8 גיגה בייט, כך שלא צריך שרת מפלצתי. כרטיס מסך בסיסי עם מעט זיכרון או אפילו מעבד סביר יספיקו כדי לעבד טקסטים בקצב עבודה נורמלי.

בסדרה הזו קיימות גם גרסאות קלות יותר, כמו distilbart-6-6-cnn שרצה כמעט פי שניים יותר מהר אך מאבדת מעט דיוק. אם יש לכם נפח עבודה קבוע ושרת קיים, שווה להריץ לבד. אם אתם צריכים תמצות רק פעם בשעה, עדיף להשתמש בפתרון ענן מנוהל במקום להחזיק תשתית דולקת.

from transformers import pipeline

pipe = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים פנימיים או חיצוניים. הדרישה העיקרית היא לכלול את תנאי הרישיון המקוריים ואת הצהרת זכויות היוצרים בקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗