arc-cot

מה זה

הבסיס כאן הוא חלק האימון של ARC-Challenge המוכר, שכולל שאלות מדעיות ברמה של כיתות ג' עד ט' בנושאים כמו פיזיקה, כימיה, ביולוגיה ומדעי כדור הארץ. במקום להסתפק רק בשאלה ובסימון התשובה הנכונה, לקחו כל זוג כזה והעבירו אותו דרך המודל Gemini Pro של גוגל.

המודל קיבל את השאלה יחד עם הפתרון, והתבקש לייצר הסבר שמפרק את תהליך ההסקה לחלקים ברורים ומנמק למה התשובה המסוימת הזו נכונה. אין כאן חלוקה לכמה ספליטים שונים, אלא קובץ יחיד שמחזיק 1,068 דוגמאות אימון כאלה בלבד.

המבנה של הרשומות פשוט למדי וכולל שדות טקסט של שאלה ותשובה. הרעיון הוא לתת למודלים לומדים הקשר רחב יותר והסבר ביניים, ולא רק אימון על התאמה יבשה בין שאלות רב-ברירה לאות הנכונה.

מתאים ל

• אימון מודלים להסקה מדעית

  כוונון עדין של מודלים קטנים כדי שילמדו לייצר שרשראות הסבר לשאלות מדעיות ולא רק תשובות סופיות.

• דוגמאות לפרומפטים

  שימוש ברשומות כדוגמאות של שרשרת חשיבה בלמידה ממעט דוגמאות בזמן הרצת פרומפטים.

• מדידת יכולות נימוק

  בדיקה והערכה של האופן שבו מודלים מפרקים שאלות מורכבות לשלבים מול הנימוקים שנוצרו.

איפה זה נופל

ההסברים נוצרו על ידי Gemini Pro ולא עברו בדיקה אנושית, מה שאומר ששלבי ההסקה עלולים לכלול אי-דיוקים או שגיאות עובדתיות. מעבר לזה, השאלות המקוריות מגיעות ממבחני מדעים אמיתיים בארצות הברית ויכולות לשקף הטיות חברתיות שקיימות במבחנים כאלה. כל החומר באנגלית בלבד, וגודל של 1,068 דוגמאות לא מספיק לאימון מודל מאפס אלא בעיקר לכוונון עדין נקודתי או כדוגמאות לפרומפטים.

איך טוענים

טוענים את הדאטהסט ישירות דרך ספריית datasets באמצעות הנתיב Locutusque/arc-cot, בלי צורך באישור גישה או מפתחות מיוחדים. כל המאגר שוקל 472 קילו-בייט בסך הכל ומגיע כקובץ parquet יחיד שנשמר בענן תחת תיקיית data.

הפורמט קל מאוד, אין פיצול למבחן או ולידציה אלא רק סט אימון, והשדות המרכזיים שמעבדים הם מחרוזות הטקסט של question ו־answer שמכילות את השאלה ואת ההסבר המלא. אפשר להוריד אותו בשניות לכל סביבת עבודה מקומית.

from datasets import load_dataset

ds = load_dataset("Locutusque/arc-cot")

הרישיון

הרישיון הוא cc-by-sa-4.0, שמאפשר שימוש מסחרי ומחקר, אבל דורש מתן קרדיט ושיתוף זהה. אם אתם משנים את הנתונים או בונים עליהם נגזרת ישירה, חובה להפיץ אותה תחת אותו הרישיון בדיוק. לגבי משקלי מודלים שאומנו על המידע, יש ויכוח משפטי אם הם נחשבים נגזרת, ולכן חברות רבות נמנעות משימוש ברישיון הזה במוצרים סגורים.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗