SCP-116K

מה זה

המאגר כולל 274,166 רשומות המכסות בעיות מדעיות מורכבות ברמת תואר ראשון עד דוקטורט. התחומים המרכזיים הם פיזיקה, כימיה, ביולוגיה ומתמטיקה, שנוספה בעדכון מאוחר והכניסה מעל 150 אלף דוגמאות חדשות. כל רשומה כוללת את תחום הבעיה, נוסח השאלה, פתרון מקורי שחולץ מהמסמך, וכן תשובה מלאה שנוצרה על ידי מודל דיפסיק לצד שרשרת החשיבה המפורטת שלו. הנתונים אינם מחולקים לקבוצות אימון ובדיקה אלא מוגשים כולם בחלוקה יחידה.

המקור מבוסס על סריקה ועיבוד של מעל 6.69 מיליון מסמכים אקדמיים שנאספו מהרשת. תהליך הבנייה כלל חילוץ אוטומטי, סינון איכות והתאמה בין שאלות לפתרונות באמצעות מודלים. חשוב לשים לב שרק בכארבעים אלף רשומות מתוך כלל המאגר יש פתרון מקור תקני שחולץ בהצלחה, כיוון שצינור החילוץ הראשוני התקשה לחבר בין השניים.

מתאים ל

• זיקוק תהליכי חשיבה

  אימון מודלים קטנים יותר על שרשראות החשיבה של דיפסיק בפתרון בעיות מדעיות.

• הערכת ביצועים במדעים

  בחינת יכולות של מודלי שפה בפיזיקה, כימיה ומתמטיקה ברמה אקדמית מתקדמת.

• מערכות מענה לשאלות

  בניית כלי עזר אקדמיים לפתרון שאלות מורכבות ללא כוונת רווח.

איפה זה נופל

הבעיה הגדולה ביותר היא התשובות של דיפסיק, שנוצרו ללא שום בדיקה או אימות מול פתרונות המקור, כך שעלולות להיות הזיות בתהליכי ההסקה. בנוסף, חילוץ המקור הראשוני באמצעות ראייה ממוחשבת נכשל בחלק ניכר מהמקרים, ולכן יש מעט מאוד פתרונות מקוריים. קיימות בעיות שמתייחסות לתרשימים או משוואות שלא חולצו לטקסט, התוכן כולו באנגלית בלבד, ואין ייצוג לניסויים מעשיים אלא לבעיות תיאורטיות.

איך טוענים

הנתונים מגיעים בקובץ יחיד בפורמט jsonl בשם SCP_116K_in_open_source_format.jsonl, לצד קובץ התיעוד. אין צורך לבקש אישור גישה מיוחד והמאגר פתוח להורדה ישירה דרך ספריית הדאטהסטים של האגינג פייס. חמשת השדות ברשומה כוללים את התחום, השאלה, פתרון המקור ושני שדות של דיפסיק עבור התשובה ותוכן החשיבה. מי שמתכנן אימון מבוקר צריך לזכור ששדה הפתרון המקורי ריק ברוב המכריע של הדוגמאות, ולכן צריך לבנות פילטר מתאים או להסתמך על התשובות הסינתטיות בלבד.

from datasets import load_dataset

ds = load_dataset("EricLu/SCP-116K")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות היא איסור מוחלט על כל שימוש מסחרי בנתונים. בנוסף, חובה לתת קרדיט ליוצרים, ואם אתם משנים את הדאטהסט או בונים עליו נגזרת, אתם מחויבים להפיץ אותה תחת אותם תנאי רישיון בדיוק. אימון מודל על המאגר הזה כובל את התוצאה למחקר בלבד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗