quora
קוד פתוחquora-competitionsunknown2022-03-02
מאגר זוגות שאלות באנגלית לבדיקת כפילויות ודמיון סמנטי, שנלקח ישירות מתחרות קגל של קוורה. הוא מיועד למי שרוצה לאמן מודל סיווג שמזהה אם שני ניסוחים שונים שואלים בפועל את אותו הדבר.
- 1,801הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 404,290 זוגות של שאלות באנגלית, שנועדו למשימת סיווג טקסט בינארי. כל רשומה מכילה מילון בשם questions עם שני מזהים ושני טקסטים של שאלות, לצד שדה בוליאני בשם is_duplicate שמסמן אם השאלות זהות במשמעותן או לא.
המקור המוצהר של הנתונים הוא תחרות Kaggle של Quora שעסקה בזיהוי שאלות כפולות. מעבר לקישור לעמוד התחרות, כרטיס המאגר כמעט ריק לחלוטין. אין בו פרטים על אופן איסוף השאלות מתוך הפלטפורמה, כיצד בוצע הסינון, או מיהם האנשים שתייגו בפועל את הכפילויות.
כל הנתונים מרוכזים בפיצול יחיד של אימון, ללא חלוקה מובנית לסט בדיקה או ולידציה. מי שמשתמש במאגר יצטרך לפצל אותו בעצמו כדי להעריך ביצועים בצורה אמינה.
מתאים ל
- זיהוי כפילויות שאלות
אימון מודל שמסווג אם שתי שאלות באנגלית שואלות אותו דבר.
- הערכת מודלי דמיון סמנטי
מבחן ביצועים למודלי שפה על משימת הבנת פרפרזות ומשמעות זהה.
- אימון מקודדי טקסט
כוונון ייצוגי משפטים כדי ששאלות דומות יקבלו וקטורים קרובים.
איפה זה נופל
הבעיה המרכזית כאן היא שכרטיס המאגר לא מתעד דבר מעבר למבנה הטכני. אין מידע על הטיות אפשריות, לא ידוע אם הוסר מידע אישי מזהה מתוך השאלות, ואין תיעוד לגבי שנת איסוף הטקסטים, אף שההעלאה נעשתה במרץ 2022. בנוסף, המאגר מוגבל לשפה האנגלית בלבד, כך שהוא לא יעזור למי שמחפש לפתור בעיות דמיון שאלות בעברית. היעדר חלוקת ולידציה מובנית דורש זהירות כדי למנוע זליגת נתונים בבדיקות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מוגדר כלא ידוע ואין מסמך תנאים שמצורף אליו. שימוש מסחרי במצב כזה הוא סיכון משפטי, ולכן הוא מתאים רק לבדיקות ולמחקר.
כמה מקום המאגר תופס בדיסק?
קבצי ההורדה שוקלים 58.17 מגה בייט. לאחר הפריסה והעיבוד המאגר תופס בסך הכל 116.33 מגה בייט, כך שהוא קל מאוד לעבודה.
האם יש בו תמיכה בשפה העברית?
לא, הנתונים הם כולם באנגלית ומבוססים על שאלות ממשתמשי אתר Quora. אי אפשר לאמן עליו מודל ישיר לזיהוי כפילויות בעברית.
איך מחולק המאגר בין אימון לבדיקה?
אין בו חלוקה מובנית. כל 404,290 הרשומות נמצאות תחת פיצול train, כך שתצטרכו לחתוך בעצמכם חלק לטובת ולידציה ומבחן.
איך טוענים
טעינת המאגר פשוטה מאוד ואינה דורשת אישור גישה מיוחד, כשהקוד נשען על קובץ quora.py המצורף. קובץ ההורדה שוקל 58.17 מגה בייט, ובסך הכל המאגר תופס 116.33 מגה בייט על הדיסק, כך שהוא נטען במהירות גם על מחשב אישי רגיל. שני השדות המרכזיים שצריך לעבוד איתם הם מערך הטקסטים בתוך questions והתווית הבוליאנית is_duplicate.
from datasets import load_dataset
ds = load_dataset("quora-competitions/quora")הרישיון
הרישיון המדווח הוא unknown, כלומר לא ידוע. לא הייתי נוגע בזה עבור שום מוצר מסחרי, כיוון שאין היתר שימוש ברור ומקור הנתונים מגיע מתחרות קגל של פלטפורמת Quora. אימון מודל על נתונים ללא רישיון מוגדר חושף אתכם לסיכון משפטי, ובמצב הנוכחי המאגר מתאים בעיקר למחקר, ניסויים פנימיים והשוואת אלגוריתמים.