deberta-v3-base-tasksource-nli

מה זה

מדובר בהתאמה של DeBERTa-v3-base שעברה אימון מרובה משימות על יותר מ־600 משימות שונות מתוך אוסף tasksource. במקום להסתפק באימון NLI שגרתי, היוצר שילב דאטה-סט ייעודי בשם label-nli שמשפר ספציפית את היכולת להדביק תוויות שרירותיות לקטעי טקסט. לפי הערכת מיחזור המודלים של IBM, הוא הגיע למקום הראשון מבין כל המודלים שמבוססים על הארכיטקטורה הזו, עם תוצאה של 70% ב־WNLI.

המודל כולל ראש סיווג של MNLI ומאפשר גישה למאות מתאמים עבור משימות קיימות בעזרת ספריית tasknet. היתרון במתאמים האלה הוא חיסכון בזמן חישוב, כי הם דורשים רק מעבר קדימה אחד לכל דוגמה, בניגוד לחישוב נפרד לכל תווית אפשרית בסיווג פתוח. בנוסף, אפשר לקחת את המשקולות שלו כנקודת פתיחה יעילה לכוונון עדין על משימות סיווג חדשות.

מתאים ל

• סיווג טקסטים ללא דאטה

  מאפשר להגדיר קטגוריות חופשיות באנגלית ולמיין פניות או פריטים בלי לאסוף דוגמאות מתויגות.

• הסקת שפה טבעית

  בודק אם משפט אחד נובע ממשפט אחר, מתאים לבדיקת עקביות בין שני קטעי טקסט קצרים.

• בסיס לכוונון עדין

  משמש נקודת מוצא מאומנת היטב לאימון מסווג ייעודי על דאטה-סט קטן באמצעות tasknet.

איפה זה נופל

הבעיה המרכזית כתובה בראש הכרטיס, היוצר עצמו מגדיר את המודל כמיושן וממליץ לעבור ל־deberta-small-long-nli שמציע חלון הקשר ארוך יותר ודיוק עדיף. מגבלת האורך כאן היא 512 טוקנים בלבד, כך שטקסטים ארוכים נחתכים. בנוסף, המודל אומן על אנגלית בלבד ולא יתאים לטקסט בעברית, וסיווג עם רשימת תוויות גדולה מייצר איטיות מורגשת כי המודל בודק כל אפשרות בנפרד.

איך מריצים

עם 184 מיליון פרמטרים ומשקל קבצים של 1.4 גיגה-בייט, המודל רץ בקלות על מעבד רגיל או על כרטיס מסך בסיסי וזול. בסביבת פייתון מריצים אותו ישירות דרך ספריית transformers עם pipeline מוכן מראש לסיווג אפס דוגמאות או להסקת שפה טבעית.

אין סיבה לשלם לספק ענן על שירות מנוהל כשמדובר בגודל כזה. שרת פשוט או מכונה מקומית מריצים אותו בלי צווארי בקבוק משמעותיים, אלא אם כן אתם צריכים לטפל באלפי תוויות במקביל לכל שאילתה, מצב שבו בדיקת כל תווית בנפרד תעמיס על המעבד.

from transformers import pipeline

pipe = pipeline("zero-shot-classification", model="sileod/deberta-v3-base-tasksource-nli")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin737.8 MB
• model.safetensors737.7 MB
• tokenizer.json8.7 MB
• spm.model2.5 MB
• config.json18.5 KB
• tasks.md13.9 KB
• README.md10.3 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• special_tokens_map.json286 B
• added_tokens.json23 B

הרישיון

הרישיון הוא apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המשקולות והפצה בתוך מוצר סגור. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובת פתיחה של הקוד שפיתחתם מסביב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗