OpenCaselist
קוד פתוחYusuf5mit2023-03-06
המאגר מרכז ראיות וטיעונים ממועדוני דיבייט אמריקאיים עם סיכומים ידניים בשלוש רמות תמצות. מי שבונה מודל לניתוח טיעונים יקבל כאן טקסט עשיר במטא-דאטה שלא קיים בטקסטים רגילים מהרשת.
- 1,774הורדות בחודש
- 25לייקים
מה זה
הנתונים נשלפו ישירות מקובצי וורד שהעלו תלמידי תיכון וסטודנטים לאתר OpenCaselist בין השנים 2013 ל־2024. הקבצים נפרקו ברמת ה־XML כדי לחלץ את הטקסט המלא יחד עם עיצובים קריטיים, כמו סימוני קו תחתון ומרקר צהוב שמייצגים את מה שהדוברים הקריאו בפועל מול השופטים.
כל רשומה היא קטע ראיה מתוך נאום ומכילה את הטקסט הגולמי לצד שלושה סוגי סיכום: משפט מופשט שהמתחרה כתב, תמצות אקסטרקטיווי שמבוסס על קו תחתון, וקטעי טקסט מודגשים שנועדו להקראה מהירה. החומרים מכסים שלושה סגנונות דיבייט שונים (Policy, Lincoln Douglas ו־Public Forum) ומכילים מידע על הצד שהציג את הטיעון, הטורניר והשנה.
היוצרים ביצעו תהליך ניקוי כפילויות שמזהה משפטים זהים ומקבץ ראיות משותפות תחת מזהה אחיד. השדה הזה מאפשר להבין כמה פעמים טיעון מסוים חזר על עצמו בטורנירים שונים, נתון שמשמש כמדד ישיר לאיכות או לפופולריות שלו בקהילת הדיבייט.
מתאים ל
- חילוץ טיעונים וראיות
זיהוי יחסי תמיכה וסתירה בין טענות שונות בתוך טקסטים אקדמיים ומאמרי דעה.
- אימון מודלי סיכום
לימוד מודלים לייצר סיכומים קצרים ברמות פירוט שונות על בסיס הטקסט המודגש והמסומן.
- זיהוי מבנה טיעוני
אימון מסווגים להבנת היררכיה רטורית באמצעות חלוקת הכותרות המובנית של הנאומים.
איפה זה נופל
הטקסט כולו באנגלית אמריקאית ואין כאן מילה בעברית. שפת הדיבייט התחרותי רוויה בז'רגון פנימי, קיצורים כמו A2 שפירושו תשובה לטיעון, והטיות חדות מאוד שמאפיינות נאומים שנועדו לנצח בוויכוח תוך דקות ספורות. הטיעונים נוטים להיות מוקצנים וחד-צדדיים, והכרטיס מודה מפורשות בנטייה מובהקת לצד השמאלי של המפה הפוליטית. בנוסף, חילוץ ה־XML מהוורד יצר שגיאות נקודתיות שבהן כמה ראיות חוברו בטעות לרשומה בודדת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון MIT מתיר שימוש מסחרי חופשי לחלוטין, כולל אימון מודלים פנימיים שלא יופצו לציבור. הדרישה היחידה היא לצרף את נוסח הרישיון המקורי בקבצי ההפצה של הפרויקט.
האם יש במאגר נתונים בעברית?
לא. כל הראיות והנאומים נאספו מתחרויות דיבייט בארצות הברית והטקסט כולו באנגלית. מי שמחפש לנתח טיעונים בעברית יצטרך לתרגם את המידע או לחפש מקורות מקומיים.
מאיפה הגיעו הטקסטים והאם הם אמינים?
הטקסטים לוקטו על ידי תלמידים וסטודנטים מתוך מאמרים אקדמיים, ספרי עיון וכתבות חדשותיות כדי לבסס עמדות בוויכוחים. הם אמינים כחומר רקע טיעוני, אך חלקם ערוכים או מקוצרים באופן מגמתי שמשרת את הצד שהציג אותם.
מה ההבדל בין המאגר הזה ל־DebateSum?
המאגר הזה הוא המשך ישיר של DebateSum אבל גדול ממנו בערך פי עשרים. בניגוד לקודמו שהתמקד רק במחנות אימון שלפני העונה, כאן נכללים נאומים מטורנירים רשמיים לאורך עשור עם מטא-דאטה רחב על הדוברים והסיבובים.
איך טוענים
המאגר מחולק ל־110 קובצי Parquet ששוקלים יחד נפח משמעותי ומכילים בין מיליון לעשרה מיליון רשומות, כך שמומלץ להזרים אותו או לטעון רק את העמודות הרלוונטיות. אין צורך באישור גישה או ברישום מוקדם. השדות המרכזיים לעבודה הם fulltext שמכיל את המקור, tag שכולל את תמצית הטיעון, ו־spoken שבודק מה הוקרא בקול. חלק מהרשומות, המכונות analytics, מכילות רק שדה tag ללא טקסט מקור בכלל, לכן חובה לסנן שורות ריקות לפני אימון.
from datasets import load_dataset
ds = load_dataset("Yusuf5/OpenCaselist")הרישיון
הרישיון הוא MIT, מה שנותן חופש כמעט מוחלט. מותר להשתמש במידע למטרות מחקר או למוצרים מסחריים, לשנות אותו ולאמן עליו מודלים סגורים, בלי חובה לשתף את הקוד או את המשקלים תחת אותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של היוצר המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש