SKGInstruct
קוד פתוחTIGER-Labcc-by-nc-2.02024-02-25
אוסף הוראות שנועד ללמד מודלים להתמודד עם מידע מובנה ומבוסס על שילוב של 19 מקורות שונים עם SlimOrca. זה מיועד למי שרוצה לאמן מודל להבין טבלאות וגרפים במקום רק לפטפט.
- 83הורדות בחודש
- 28לייקים
מה זה
המאגר מרכז נתונים לאימון הוראות שמגיעים מתוך 19 מאגרי מידע שונים של עיגון ידע מובנה, יחד עם דוגמאות מתוך SlimOrca. המטרה של ההרכבה הזו היא לתת למודלים יכולת להבין מבני נתונים קשיחים ולענות על שאלות לגביהם.
המבנה בקבצים מחולק לפי שימושים, כולל קובץ אימון ראשי, קובץ נתונים גולמיים דחוס, וכמה קובצי בדיקה שמותאמים למודלים בגדלים שונים כמו שבעה מיליארד, 13, 34 ומיסטרל. כל רשומה מייצגת משימת יצירת טקסט סביב נתון מובנה, אבל הכרטיס לא מפרט את שמות כל 19 המקורות המקוריים מעבר לדוגמה אחת ספציפית.
מתאים ל
- אימון מודלים על טבלאות
לימוד מודל שפה להבין מידע מובנה מתוך שילוב של מקורות נתונים מגוונים.
- הערכת ביצועי מודלים
הרצת מבחנים על קובצי הבדיקה הייעודיים למיסטרל או למודלים בגדלים שונים.
- מחקר אקדמי בהוראות
בדיקת השפעת שילוב מידע מובנה עם דאטהסט הוראות כללי כמו SlimOrca.
איפה זה נופל
הנתונים כולם באנגלית בלבד. אם אתם בונים שירות שמיועד לנתח דוחות כספיים או טבלאות בעברית, המאגר הזה לא ייתן לכם מענה ישיר בלי שתתרגמו או תתאימו אותו מראש. מעבר לזה, המאגר לא מפרט את הליך הסינון והניקוי שנעשה על 19 המקורות השונים, מה שמחייב בדיקה ידנית של איכות הפלטים לפני שמשלבים אותם בתהליך אימון אמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המוצהר ורוב החלקים במאגר מוגדרים תחת תנאי שימוש לא מסחריים. אימון מודל על הנתונים האלה פוסל אותו משימוש פנימי או מכירה ללקוחות בחברה. אם אתם צריכים נתונים למוצר מסחרי, תצטרכו לחפש מקורות עם רישיונות מתירניים יותר.
האם יש במאגר הזה תמיכה בעברית?
המאגר מוגדר רשמית ומכיל טקסט באנגלית בלבד. אין כאן דוגמאות של טבלאות או שאלות בעברית. שימוש במודל שיאומן רק עליו לא יניב תוצאות טובות על נתונים ישראליים מקומיים בלי שתעשו התאמה נוספת.
מאיפה הגיעו הנתונים שבפנים?
היוצרים אספו ושילבו 19 מאגרים שונים של עיגון ידע מובנה, וערבבו אותם יחד עם דוגמאות ממאגר SlimOrca. הכרטיס מציין בשם רק את TabMWP לצד SlimOrca, ולא מפרט את 18 המקורות הנוספים. כל המידע עבר המרה למבנה אחיד של הוראות לצורך אימון.
מה ההבדל בין קובצי הבדיקה השונים במאגר?
במאגר יש קובצי ג'ייסון נפרדים שיועדו לבדיקה על ארכיטקטורות ספציפיות כמו מיסטרל, ושורה של קבצים למודלים בגדלי 7B או 13B ו־34B. החלוקה הזו מותאמת ישירות לצורת הבדיקה שהחוקרים ביצעו במאמר המקורי שלהם. היא מקלה על בדיקת המודלים מול המבחנים בלי צורך בסידור ידני של הפורמט.
איך טוענים
אין כאן שער גישה או צורך באישור מיוחד, פשוט מורידים ישירות דרך הספרייה הרגילה או מושכים את הקבצים. המאגר מכיל שבעה קבצים, והקובץ המרכזי שממנו עובדים הוא קובץ ג'ייסון בשם skginstruct לצד קובצי בדיקה ייעודיים. צריך לשים לב שמשקל הנתונים והקבצים המלאים לא מפורט מראש בעמוד, ולכן מומלץ לבדוק נפח דיסק פנוי לפני שמורידים את קובץ הזיפ הגולמי.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/SKGInstruct")הרישיון
הרישיון הרשמי בעמוד הוא cc-by-nc-2.0, ובטבלת הפירוט מצוין שרוב המקורות כפופים לרישיון לא מסחרי. יש החרגות ספציפיות כמו TabMWP שמופץ תחת שיתוף זהה וסלים אורקה תחת רישיון פתוח, אבל הסך הכל מגביל אתכם לחלוטין משימוש מסחרי. אי אפשר לאמן על זה מודל סגור למוצר עסקי, ונדרש מתן קרדיט ליוצרים.