Multi-modal-Self-instruct
קוד פתוחzwq2018רישיון לא דווח2024-07-07
המאגר מרכז מעל 75 אלף הוראות חזותיות סינתטיות לאימון והערכה של מודלי ראייה. הוא נועד למי שרוצה לשפר ביצועים על תרשימים, טבלאות ומפות מופשטות שנוצרו בקוד.
- 872הורדות בחודש
- 32לייקים
מה זה
המאגר מחולק לשני חלקים עיקריים שכוללים תמונות סינתטיות לצד שאלות ותשובות. סט האימון כולל 64,796 הוראות שנוצרו על גבי 19,338 תמונות, והוא מתמקד בשלושה תחומים בלבד: תרשימים, טבלאות ומפות כבישים. הנתונים הופקו באמצעות מודלי שפה גדולים ויכולות כתיבת הקוד שלהם, שייצרו הן את התמונות המופשטות והן את ההוראות הנלוות.
סט המבחן משמש כבנצ'מרק ומכיל 11,193 הוראות על פני 3,658 תמונות, שמכסות שמונה תרחישים שונים. בנוסף לתרשימים, טבלאות ומפות, הוא כולל דשבורדים, תרשימי זרימה, גרפי יחסים, תוכניות מבנה וחידות חזותיות. כל רשומה במאגר עוקבת אחרי הפורמט של LLaVA 1.5, וכוללת מזהה שאלה, נתיב תמונה, שאלת טקסט, תשובה נכונה ועצם התמונה עצמו.
מתאים ל
- אימון הבנת תרשימים וטבלאות
כוונון עדין של מודלי ראייה על עשרות אלפי דוגמאות סינתטיות של קריאת נתונים מגרפים.
- אימון מודלים לניווט מפה
שיפור ביצועי מעקב ופתרון מסלולים על גבי 17,000 הוראות למפות דרכים מופשטות.
- הערכת הסקה חזותית מורכבת
בדיקת יכולות של מודל קיים מול שמונה תרחישים שונים כולל דשבורדים, תרשימי זרימה וחידות.
איפה זה נופל
כל הנתונים במאגר נוצרו בצורה סינתטית לחלוטין על ידי מודלי שפה, ולכן הם כוללים את הטיות הייצור והמגבלות של המודלים שיצרו אותם. התמונות הן מופשטות ומבוססות קוד, כך שהן לא משקפות בהכרח גרפיקה מורכבת מהעולם האמיתי, צילומי מסך מגוונים או תרשימים סרוקים. המאגר מוגבל לשפה האנגלית בלבד, ואין בו שום ייצוג לטקסט בעברית בתוך התמונות או בשאלות. בנוסף, מגוון הנושאים באימון מוגבל לשלושה תחומים בלבד לעומת שמונה שנבדקים במבחן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
החוקרים מאפשרים להשתמש בסט המבחן רק ככלי הערכה מסחרי, ואוסרים לאמן עליו. סט האימון מיועד לאימון תחת CC BY-SA 4.0, אך תנאי השיתוף הזהה מחייבים זהירות אם אתם מתכננים לסגור את הקוד או את המשקלים של המודל.
האם הדאטהסט תומך בעברית?
לא. כל ההוראות, השאלות והטקסטים שמופיעים בתוך התמונות המופשטות נוצרו באנגלית בלבד. אם המטרה שלכם היא לפענח תרשימים וטבלאות עם תוכן בעברית, תצטרכו לאסוף או לתרגם נתונים בעצמכם.
איך הנתונים והתמונות נוצרו בפועל?
החוקרים השתמשו במודלי שפה גדולים שיצרו קוד לייצור התמונות המופשטות, ומשם הפיקו הוראות, שאלות ותשובות שקשורות לתוכן החזותי. מדובר בתהליך Self-Instruct סינתטי לגמרי ללא תמונות שנאספו ידנית מהאינטרנט.
מה ההבדל בין סט האימון לסט המבחן במאגר?
סט האימון כולל כמות גדולה של מעל 64 אלף הוראות, אך הן מתמקדות אך ורק בתרשימים, טבלאות ומפות. סט המבחן מכיל כ־11 אלף הוראות אך מרחיב את המגוון לחמישה תחומים נוספים, כולל דשבורדים, תוכניות דירה ותרשימי זרימה.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face בפקודת load_dataset רגילה, ללא צורך באישור גישה מראש. אפשר גם להוריד ישירות את קובץ הארכיון Multi-modal-Self-instruct.zip שמכיל את כלל התמונות וקובצי החלוקה. הקבצים בעמוד שמורים בפורמט Parquet בחלוקה למשימות השונות של המבחן. השדות העיקריים שצריך לעבד הם question, answer והתמונה עצמה מתוך שדה image.
from datasets import load_dataset
ds = load_dataset("zwq2018/Multi-modal-Self-instruct")הרישיון
החוקרים שחררו את התרומות שלהם תחת רישיון CC BY-SA 4.0, אך הוסיפו תנאי שימוש מגבילים. מותר להשתמש בשמונת מבחני הבנצ'מרק לצורך הערכה מסחרית, אך נאסר במפורש להשתמש בהם כסט אימון. שלושת תת-המאגרים של האימון מיועדים לאימון מודלים, אך רישיון שיתוף זהה מחייב לבדוק היטב את תנאי הפצת המשקלים והנגזרות לפני שילוב במוצר סגור.