cosmos_qa

מה זה

כל רשומה בנויה מסיפור יומיומי קצר שנלקח מבלוגים או נרטיבים אישיים, שאלה על הגורמים או התוצאות של האירועים, וארבע תשובות לבחירה כשרק אחת נכונה. המבנה כולל מזהה ייחודי, טקסט הקשר, שאלה, ארבע שדות תשובה ממוספרים ומספר שמציין את התשובה הנכונה מתוכן.

החלוקה הפנימית מוגדרת מראש ומורכבת מאימון עם 25,262 דוגמאות, אימות עם 2,985 דוגמאות ובדיקה עם 6,963 דוגמאות. כרטיס המאגר לא מפרט תהליכי סינון או איסוף ספציפיים מעבר לעובדה שמדובר בנרטיבים יומיומיים שנועדו להכריח את המודל להבין מעבר לטקסט הכתוב ישירות.

מתאים ל

• הערכת מודלי שפה

  בדיקת יכולת הסקת מסקנות יומיומיות ומענה על שאלות הבנת הנקרא מורכבות.

• אימון להתאמת תשובות

  כוונון עדין של מודלים לבחירה נכונה מתוך מספר חלופות מבלבלות.

• בדיקת חוסן להקשר

  בחינה אם המודל נסמך רק על דמיון מילים או באמת מבין את התוצאה הסבירה.

איפה זה נופל

הטקסטים כולם באנגלית ומבוססים על כתיבה מ 2019 ומטה, בלי נגיעה לעברית או להקשר מקומי ישראלי. כרטיס המאגר משאיר את רוב שדות התיעוד ריקים, כולל שאלות על הטיות, מיפוי מידע אישי ורגיש וזהות המתייגים, כך שחובה לדגום את הטקסטים בעצמכם לפני שימוש במערכת רגישה.

איך טוענים

טוענים את המאגר ישירות עם ספריית datasets של Hugging Face בלי צורך בהרשאות או מפתחות גישה. נפח ההורדה עומד על 24.40 מגה בייט, ובדיסק הוא תופס 48.91 מגה בייט בסך הכל. השדות שמעניינים אתכם בקוד הם context, question, ארבעת שדות ה answer והמספר בעמודת label.

from datasets import load_dataset

ds = load_dataset("allenai/cosmos_qa")

הרישיון

הרישיון הוא CC BY 4.0, כפי שאושר רשמית בהתכתבות מול יוצרי המאגר. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים חופשי, בתנאי שאתם נותנים ייחוס מתאים למחקר המקורי. אין חובת שיתוף באותו רישיון עבור המודל שאימנתם.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗