asqa

מה זה

הרשומות מבוססות במקור על שאלות מתוך AmbigQA, ומכילות שאלות עובדתיות שלא ניתן לענות עליהן במילה אחת בגלל עמימות בניסוח. עבור כל שאלה כזו, מתייגים אנושיים יצרו תשובות ארוכות שמפרקות את המשמעויות השונות, לצד צמדי שאלות ותשובות קצרות וחלקי מידע שנלקחו מעמודי ויקיפדיה.

המבנה של כל דוגמה כולל את השאלה המעורפלת, את התשובה הארוכה המנוסחת, רשימת מקורות מוויקיפדיה עם קישורים ושמות העמודים, וצמדי שאלות מחודדות עם תשובות קצרות שמבהירות את העמימות. החלוקה הפנימית מורכבת מאימון עם 4,353 רשומות ומבחן פיתוח שמכיל 948 רשומות נוספות.

מתאים ל

• הערכת תשובות ארוכות

  בדיקת היכולת של מודל שפה לייצר תשובה מקיפה ומדויקת לשאלה עם כמה פירושים.

• כוונון למענה מורכב

  אימון מודלים להסביר עמימות ולהביא עובדות מתוך מקורות מידע במקום לזרוק ניחוש בודד.

• בדיקת מערכות RAG

  בחינה של שליפת מסמכים מורכבת מתוך ויקיפדיה כששאילתת המשתמש חסרה ולא ממוקדת.

איפה זה נופל

המאגר כולו באנגלית בלבד. אם המוצר שלכם פונה לקהל ישראלי ודורש עברית, החומר כאן לא יעזור בלי תרגום משמעותי שיכול לפגוע בעמימות הטבעית של השאלות. המידע נשען כולו על עמודי ויקיפדיה כפי שהיו זמינים עד שנת 2022, כך שחלק מהעובדות עשויות להיות ישנות. מעבר לכך, מדובר במאגר קטן של אלפי דוגמאות בודדות, כך שהוא מתאים יותר להערכה או לפיין טיונינג ממוקד מאשר לאימון בסיסי רחב.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face. הקבצים נשמרים בפורמט Parquet, אין כאן תהליך אישור גישה או שער הרשמה, וההורדה מיידית וקלה מאוד. השדות המרכזיים שתרצו למשוך לטקסט הם ambiguous_question לשאלה, annotations לתשובה הארוכה ולמידע התומך, ורשימת qa_pairs אם אתם בונים הערכה שמבוססת על פירוק השאלות.

from datasets import load_dataset

ds = load_dataset("din0s/asqa")

הרישיון

המאגר פורסם ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של המידע והפצה שלו, לצד אפשרות לאמן עליו מודלים מסחריים בלי חובה לחשוף את קוד המקור שלכם. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והייחוס המקורי של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗