CompMix

הסקירה

CompMix מוריד למחשב שלכם קובצי נתונים בפורמט JSON שמכילים אלפי שאלות ותשובות מוכנות מראש. הוא לא תוכנה שרצה ברקע, הוא לא אתר שבו מקלידים שאלה בתיבת חיפוש, ואין מאחוריו שרת שמחזיר תשובה לשאילתות שלכם בזמן אמת. אם הגעתם אליו במחשבה שמצאתם כלי עבודה שיעזור לכם לנהל פרויקטים, לסכם מיילים או לחסוך זמן במשרד, תגלו מהר מאוד שטעיתם בכתובת. זהו מאגר נתונים למחקר שנועד לבחון ביצועים של מודלים לשאלות ותשובות. מה שמקבלים זה קבצים עמוסים בטקסטים מובנים שדורשים ידע טכני בעיבוד נתונים כדי לעשות בהם שימוש מעשי כלשהו.

הקובץ כולל בסך הכל 9,410 שאלות שנאספו מבני אדם ועברו פיצול מדויק לשלושה חלקים נפרדים באתר. החלק הראשון הוא ערכת האימון עם 4,966 שאלות שמיועדות להזנה למודלים בתהליך הלמידה. החלק השני מכיל 1,680 שאלות לפיתוח ובדיקת ביניים, והחלק השלישי מציע 2,764 שאלות שמורות למבחן הסופי. בנוסף לקבצים באתר, המאגר כולו מועלה גם ישירות לחשבון של היוצרים באתר Hugging Face. מי שעובד עם המערכות האלה ביום יום יכול למשוך את הנתונים משם בלי להוריד אותם ידנית אחד אחד.

איך נבנה מאגר השאלות

מאחורי השאלות האלה עומדים עובדים מפלטפורמת Amazon Mechanical Turk שהתבקשו לבחור ישות מסוימת מתחום שעניין אותם, וממנה לפתח שיחה טבעית. המטרה המרכזית היתה להבטיח שהשאלות לא ייראו מלאכותיות או יובשו על ידי נוסחאות קבועות מראש. העובדים דילגו בין נושאים שונים במהלך השיחה בדיוק כמו שבני אדם עושים בחיים האמיתיים. הם בחרו ישויות מורכבות, שאלו עליהן ברצף, ויצרו תערובת אמיתית של שאלות מורכבות ומגוונות. CompMix הוא מאגר לבדיקת אלגוריתמים ולא תוכנת פרודוקטיביות לעבודה יומיומית.

החומר מבוסס על מאגר קודם בשם ConvMix, אבל כאן לקחו את השאלות המקוריות והשלימו אותן. בשיחה רגילה אדם שואל שאלה קצרה שמסתמכת על המשפט הקודם, כמו למשל מתי הוא נולד, בלי לציין שוב את השם. בתוך CompMix העובדים שכתבו כל משפט כזה לשאלה עצמאית ומפורשת שמכילה את כל הכוונות והשמות המלאים. כך המודל הנבדק מקבל שאלות שלמות שהוא אמור לדעת לפתור לגמרי לבד בלי לקרוא את כל ההיסטוריה של השיחה שקדמה להן.

זה דורש תכנות נטו.

מקורות המידע ומבנה השאלות

הייחוד שיוצרי המאגר מכוונים אליו הוא בדיקת שיטות שפועלות מול תערובת של מקורות מידע שונים לחלוטין באופיים. העובדים נדרשו למצוא תשובה לכל שאלה שהמציאו באחד מארבעה מקורות מוגדרים: מאגר הנתונים המובנה של Wikidata, טקסט חופשי מתוך ויקיפדיה, טבלאות מתוך ויקיפדיה, או תיבות מידע בערכים. כדי להתמודד עם המבנה המורכב של Wikidata, החוקרים אפילו סיפקו לעובדים סרטוני הדרכה שליוו שיחה לדוגמה. המאגר כולל לא רק את השאלה והתשובה, אלא גם את המקור הספציפי שבו נמצאה התשובה ואת הישויות שזוהו בתוך הטקסט.

השאלות שנוצרו כוללות תופעות לשוניות מורכבות מאוד שמקשות על מערכות חיפוש רגילות. תמצאו שם תנאי זמן, השוואות כמותיות, אוסף של כמה ישויות במשפט בודד ופעולות של צבירת נתונים. כל התשובות מקושרות ישירות לבסיס הידע, למעט תאריכים שעברו נרמול ושמות פרטיים שנשמרו כטקסט פשוט. מגוון הנושאים רחב באופן חריג ונע בין מועדוני כדורגל כמו Liverpool, דמויות מסרטים כמו Titanic, סופרים, ועד שחקנים וזמרים. יש כאן עושר עצום של פרטים.

אין כאן ממשק משתמש.

תנאי רישיון ועלויות שימוש

כל הנתונים במיזם הזה פתוחים לחלוטין לשימוש חופשי ומופצים תחת רישיון Creative Commons Attribution 4.0 International. אין באתר שום מחירון, אין מנויים חודשיים, ואתם לא צריכים לשלוף כרטיס אשראי כדי ללחוץ על הקישורים ולהוריד את המידע. מהבחינה הזו הוא זמין לכולם בלי תשלום ישיר ליוצרים. עם זאת, כדי לעשות בזה שימוש במחקר או בפיתוח, תצטרכו להחזיק תשתיות מחשוב משלכם כדי להריץ את המודלים על גבי הקבצים הללו, וזה כבר עולה כסף בפני עצמו.

לא הייתי משתמש בזה לפיתוח מוצר שמיועד לשוק המקומי בישראל. כל 9,410 השאלות והתשובות מנוסחות באנגלית ומבוססות על ויקיפדיה האנגלית ובסיסי ידע בינלאומיים. המאגר לא מכיל שום תוכן בעברית ולא תוכנן לבחון מודלים בשפה הזו. חוקר ישראלי שבונה מערכת שאלות ותשובות באנגלית ימצא כאן כר פורה לניסויים, אבל אם המטרה שלכם היא מנוע חיפוש או עוזר פנימי בעברית לארגון שלכם, הקבצים האלה לא יקדמו אתכם.

• מחירוןלא צוין באתר
• רישיוןשימוש חופשי בינלאומי
• שפת נתוניםאנגלית בלבד