MMEvol

מה זה

המאגר כולל בין מאה אלף למיליון רשומות המיועדות לאימון מודלים של ראייה ושפה. הבסיס התחיל מלקט של 163 אלף הוראות מקור, שעברו תהליך שכלול אוטומטי בשלושה צירים: תפיסה חזותית מפורטת, אינטראקציות מגוונות, ושרשראות חשיבה ארוכות יותר להסקה קוגניטיבית.

התוצר הסופי מאוחד בקובץ בשם mix_evol_sft.json, שמשלב את ההוראות המשוכללות עם דאטהסטים פתוחים נוספים שמשמשים בדרך כלל לאימון מודלים רב-מודליים. קובץ נוסף בשם mix_evol_480k.json מרכז את 480 אלף הדוגמאות שנוצרו ישירות בתהליך השכלול, לצד קובצי ארכיון רבים המכילים את התמונות שנאספו ממקורות שונים ברשת.

מתאים ל

• כוונון הוראות חזותי

  אימון מודלי ראייה ושפה על שרשראות הסקה מורכבות סביב תמונות.

• מענה לשאלות על דיאגרמות

  שימוש בחלקי הדאטהסט כמו ai2d לפיתוח מענה לשאלות מבוססות תרשימים.

• משימות סוכן ואינטראקציה

  שיפור יכולת הבנת הוראות מגוונות מבוססות סביבה בעזרת נתוני alfworld.

איפה זה נופל

הנתונים קיימים באנגלית ובסינית בלבד, כך שאין כאן שום תמיכה בעברית. חלק ניכר מהדאטהסט נוצר על ידי מודלים ולא נבדק ידנית על ידי בני אדם, מה שעלול להכניס הזיות או שגיאות בשרשראות ההסקה. בנוסף, מדובר באוסף שמורכב ממקורות פתוחים מגוונים שנוצרו בזמנים שונים, מה שמחייב בדיקת איכות מדגמית לפני שמשלבים אותו במערכות ייצור.

איך טוענים

המאגר מחולק לשישים קבצים, כולל ארכיוני tar.gz מפוצלים כמו allava_vflan ודאטהסטים מוכרים כמו ai2d ו־alfworld. הגישה פתוחה לחלוטין ואין צורך באישור מיוחד כדי להוריד. כדי להתחיל לעבוד איתו, מורידים את קובצי ה־JSON המרכזיים ומחלצים את ארכיוני התמונות המתאימים, מה שדורש נפח אחסון פנוי ומשמעותי בדיסק המקומי לפני שמתחילים לפרוק את הנתונים לתהליך האימון.

from datasets import load_dataset

ds = load_dataset("Tongyi-ConvAI/MMEvol")

הרישיון

המאגר מפורסם תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. מותר לאמן עליו מודלים מסחריים בלי חובה לשחרר את הקוד או המשקולות, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗