MANTA-1M
קוד פתוחLGAI-EXAONEcc-by-nc-4.02025-09-18
מאגר הוראות סינתטי שנבנה ישירות מטקסטים ברשת ומיועד לשיפור ביצועים במשימות ידע מורכבות. הוא מתאים למי שמאמן מודלי שפה ורוצה כיסוי רחב בתחומי מדע, תכנות ומתמטיקה.
- 184הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל בין מאה אלף למיליון רשומות של שאלות ותשובות שנוצרו על ידי המודל EXAONE-3.5-32B-Instruct. שיטת העבודה התבססה על חילוץ סילבוסים מובנים מתוך מאגרי רשת גדולים, ומהם המודל יצר את צמדי ההוראות והתשובות כמעט ללא מגע יד אדם. בנוסף, כל רשומה קיבלה ציון מורכבות לפי מתודולוגיה ייעודית של ניתוח קושי.
התוכן מחולק ל־11 תחומים שמשקפים את ההתפלגות הטבעית של המקורות ברשת. מדעי המחשב ותכנות מובילים עם 24.82 אחוז, מיד אחריהם מדעי הטבע עם 22.39 אחוז ומדעי החברה עם 21.21 אחוז. מתמטיקה תופסת 17.37 אחוז, בעוד תחומים כמו הנדסה, כלכלה ואמנות מקבלים נתחים קטנים בהרבה, ופילוסופיה, היסטוריה ושפות נמצאים עמוק בתחתית עם פחות מאחוז לכל תחום.
מתאים ל
- אימון מודלים על ידע כללי
חיזוק ביצועים במבחני ידע מורכבים כמו MMLU ו־MMLU-Pro על ידי חשיפה למגוון שאלות.
- שיפור יכולות קוד ומתמטיקה
אימון ממוקד על תחומי תכנות ומדעים מדויקים שתופסים נתח משמעותי מאוד מהרשומות.
- סינון לפי רמת קושי
בניית תוכנית אימון מדורגת באמצעות שימוש בציוני המורכבות שמוצמדים לכל רשומה.
איפה זה נופל
הנתונים כולם באנגלית, בלי אף מילה בעברית או בשפות אחרות מעבר ל־0.4 אחוז שמוגדרים סביב שפות. הפיזור לא מאוזן בכלל, מדעי הרוח כמעט לא קיימים כאן. מעבר לזה, מדובר בדאטה סינתטי שנוצר כולו על ידי מודל שפה יחיד, עם התערבות אנושית מינימלית, כך שהזיות או טעויות בהסברים עלולות לזלוג ישירות לתהליך האימון שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 והוא אוסר שימוש מסחרי לחלוטין. אם המטרה היא להוציא מוצר לשוק או למכור שירות, המאגר הזה פשוט לא מתאים.
האם יש בדאטהסט תמיכה בעברית?
אין כאן עברית כלל. המאגר מוגדר רשמית בשפה האנגלית בלבד, וגם קטגוריית השפות הכללית תופסת פחות מחצי אחוז מכלל התוכן.
איך הנתונים נוצרו בפועל?
החוקרים שלפו טקסטים מהרשת, חילצו מהם מבנה של סילבוס, ונתנו למודל EXAONE-3.5-32B-Instruct לייצר שאלות ותשובות סביב המידע הזה. התהליך כולו היה אוטומטי וכמעט ללא בדיקה אנושית.
מה היתרון של המאגר על פני סטים סינתטיים אחרים?
הוא כולל ציוני מורכבות לכל שאלה ומבוסס על סילבוסים מהרשת במקום על הנחיות שרירותיות. לפי החוקרים, המבנה הזה נותן שיפור בבנצ'מרקים קשים של ידע בהשוואה לשיטות גנרציה מקבילות.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות הנתיב LGAI-EXAONE/MANTA-1M. אין צורך באישור גישה מוקדם או בהרשמה מיוחדת. הנתונים שמורים בקובץ train.parquet בתוך תיקיית data, כך שהטעינה מהירה וחסכונית בזיכרון. כדאי לשים לב לשדה ציוני המורכבות כדי לסנן דוגמאות פשוטות מדי לפני שמתחילים את האימון.
from datasets import load_dataset
ds = load_dataset("LGAI-EXAONE/MANTA-1M")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות חותכת: השימוש מותר למטרות מחקר והתנסות אקדמית בלבד, עם חובת מתן קרדיט. אסור לעשות בו שום שימוש מסחרי, מה שאומר שאסור לאמן עליו מודלים שמיועדים למוצר בתשלום או לשירות עסקי פנימי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא