dharma-1
קוד פתוחpharaoukרישיון לא דווח2023-08-18
אוסף דגימות מכויל מתוך מבחני ביצועים מובילים שנועד לשמש כיעד הערכה קל משקל בזמן אימון. המטרה כאן היא לבדוק יכולות של מודלי שפה בלי להריץ עשרות אלפי שאלות בכל בדיקה.
- 562הורדות בחודש
- 41לייקים
מה זה
המאגר מאגד שאלות מתוך שורה של מבחנים מוכרים: AGIEval, Bigbench, MMLU, Winogrande, Arc-C, Arc-E, OBQA, TruthfulQA ו־Bool-q. לפי התיאור, הדגימה נבנתה כך שתשמור על חלוקה שווה ומייצגת של תתי-התחומים השונים בכל אחד מהמבחנים המקוריים, כדי לשקף את כוונת היוצרים שלהם בצורה מרוכזת.
הנתונים מגיעים בשלושה גדלים שונים שנועדו להקל על איטרציות מהירות. הגרסה המלאה כוללת בדיוק 3,000 דוגמאות, גרסת המיני מכילה 450 דוגמאות, וגרסת המיקרו מסתפקת ב־90 דוגמאות בלבד. המבנה נועד לתת תמונת מצב זריזה של ביצועי zero-shot ו־one-shot מול מדדים רחבים.
מתאים ל
- בדיקת מודל בזמן אימון
הרצה מהירה של Dharma-1 בתוך Axolotl כדי לעקוב אחרי כיוון ההתקדמות של המודל.
- הערכת ביצועים זריזה
שימוש בגרסת המיקרו בת 90 הדוגמאות לבדיקת שפיות קצרה אחרי שינויי קונפיגורציה.
- מדידת יכולות אפס-דגימות
בחינת התנהגות מודל שפה במשימות מגוונות ללא צורך בהרצת סוויטות מבחנים כבדות.
איפה זה נופל
הכרטיס קצר מאוד ולא מפרט את מבנה השדות של הרשומות, חלוקת השפות או תהליך הסינון המדויק מעבר לאמירה שמדובר בדגימה מאוזנת. המקורות כולם מבוססים על בנצ'מרקים קיימים, ולכן יש סכנה ממשית להטיה או לחשיפת המודל לנתוני הבדיקה בזמן אימון מקדים. עברית לא מוזכרת כלל ונראה שהנתונים כולם באנגלית. מעבר לכך, היוצר עצמו השאיר תבנית המציינת שחסר מידע נוסף.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
לא נמסר רישיון במאגר, ולכן אין אישור מפורש לשימוש מסחרי. כדאי לזכור שגם המבחנים המקוריים שמהם נלקחו השאלות מגיעים עם תנאי שימוש משלהם שמחייבים בדיקה נפרדת.
כמה נפח הדאטהסט תופס?
הנתונים קלים ביותר. הגרסה הגדולה ביותר כוללת 3,000 דוגמאות בלבד בקובץ JSON, ויש גם גרסאות קטנות בהרבה של 450 ו־90 דוגמאות שנפתחות בשניות בודדות.
האם יש תמיכה בעברית?
בדף המאגר אין שום אזכור לעברית. כל המבחנים שמהם נדגמו השאלות, כמו AGIEval, ARC ו־Bool-q, הם באנגלית במקור.
מה ההבדל בין זה לבין הורדת MMLU המלא?
MMLU ושאר המבחנים מכילים עשרות אלפי שאלות שלוקח זמן רב להריץ. המאגר הזה לוקח מדגם מאוזן של 3,000 שאלות ומטה מכל המבחנים יחד כדי לחסוך זמן בהערכה.
איך טוענים
המאגר פתוח לציבור ואינו דורש הרשאה מיוחדת. הנתונים שמורים ישירות בקובצי JSON פשוטים, בהם dharma_1_full.json, dharma_1_mini.json, dharma_1_micro.json וקובץ dharma_eval_unshuffled.json. בגלל שמדובר ב־3,000 שורות לכל היותר, הטעינה מיידית ואינה דורשת משאבי זיכרון מיוחדים. הכרטיס מציין שהסט משולב ישירות בתוך ספריית האימון Axolotl לצורך הערכה שוטפת.
from datasets import load_dataset
ds = load_dataset("pharaouk/dharma-1")הרישיון
בעמוד המאגר לא הוגדר רישיון. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין הרשאה ברורה להשתמש במידע, להפיץ אותו או לבנות עליו מודלים מסחריים. בנוסף, הדאטהסט נשען על מקורות מרובים כמו MMLU ו־TruthfulQA, שלכל אחד מהם רישיון מקורי משלו שצריך לבדוק בנפרד לפני כל עבודה.