multi-label-summary-text

מה זה

אתם מזינים טקסט ארוך ומגדירים תוויות שמעניינות אתכם. מאחורי הקלעים רצים שני מודלים כבדים של פייסבוק, bart-large-cnn לתמצות ו־bart-large-mnli לסיווג בשיטת zero-shot. כדי להתמודד עם מגבלת האורך, הטקסט נחתך לחלקים של 1024 טוקנים, כל חלק מתומצת בנפרד, והתקצירים מחוברים יחד לסיווג סופי.

הממשק נותן לבחון שתי דרכים במקביל, סיווג על בסיס התקציר המאוחד לעומת סיווג ישיר של הטקסט המלא. יש בקוד דוגמאות מובנות של טקסטים ארוכים ותוויות, כולל נתוני ביצועים, כך שאפשר לראות ישר איך השיטה משפיעה על דיוק התיוג.

מתאים ל

• סיווג מאמרים ארוכים

  הזנת מסמכים באנגלית ובדיקת התאמה לכמה קטגוריות בלי לאמן מודל מראש.

• השוואת איכות תיוג

  בדיקה אם תיוג על גבי תקציר מרוכז מדויק יותר מתיוג של מסמך שלם.

• תמצות מסמכים מרובי חלקים

  יצירת תקציר רציף מטקסט שעובר את מגבלת 1024 הטוקנים הרגילה של BART.

איפה זה נופל

הפיצול לחתיכות של 1024 טוקנים עלול לאבד הקשר שמתפרס בין פסקאות שונות. המודלים האלה אומנו על אנגלית, כך שאין מה לבנות עליהם לטקסטים בעברית. בנוסף, חומרת ברירת המחדל חלשה מדי לעבודה שוטפת, ואם תעמיסו מסמך ענק יש סיכוי טוב שההרצה תיקח דקות או תיעצר באמצע.

איך משתמשים

נכנסים לעמוד בסטרימליט, בוחרים דוגמה מוכנה או מדביקים טקסט משלכם, ומריצים בלי צורך בהרשמה. העסק רץ על מעבד בסיסי חינמי בלי מאיץ גרפי. בגלל ששני מודלי BART גדולים צריכים לחתוך, לתמצת ולסווג כל מקטע בנפרד, זמן ההמתנה מורגש וטקסט ארוך ייקח לא מעט שניות.

הרישיון

היוצר לא פרסם רישיון לקוד של האפליקציה. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד עצמו. הטקסטים שאתם מזינים עוברים דרך השרתים הציבוריים שמארחים את הממשק, ולכן לא מעלים לשם מידע רגיש או פרטי.

הרישיון המלא ב־Hugging Face ↗