DataOptim
קוד פתוחBAAIרישיון לא דווח2023-10-12
המאגר מרכז 20 מאגרי תמונות וטקסט ציבוריים לאימון מודלי ראייה ושפה בפורמט אחיד. הוא חוסך את העבודה השחורה של הורדת מקורות שונים והתאמת הוראות ידנית.
- 214הורדות בחודש
- 24לייקים
מה זה
המאגר מאגד 20 מקורות מידע שונים למשימות מולטימודליות, שמסתכמים בכ־974 אלף תמונות ומעל 11 מיליון דוגמאות אימון. החלוקה הפנימית מורכבת מכמה קטגוריות עיקריות: תיאור תמונות כמו COCO ו־Flickr30K, מענה לשאלות על תמונות שכולל את VQAv2, DocVQA ו־ScienceQA, משימות לוקליזציה מסוג RefCOCO ו־Shikra, ונתוני שיחה שנוצרו על ידי GPT-4 ו־GPT-4V כמו LLaVA ו־ShareGPT-4V.
כל הנתונים עברו התאמה למבנה ההוראות של LLaVA ונשמרים כקובצי JSON נפרדים לכל מקור. הצוות בחר חמש הוראות קבועות לתיאורי תמונות והגריל אחת לכל דוגמה, הוסיף בקשות מפורשות לתשובות קצרות בשאלות פתוחות, ושימר תבניות ייעודיות לשאלות רב-ברירה ומשימות מיקום אובייקטים.
מתאים ל
- אימון מודלי ראייה ושפה
אימון מודלים מולטימודליים על מגוון משימות של זיהוי, הבנת מסמכים ומענה לשאלות על תמונות.
- כוונון לפי הוראות ויזואליות
שיפור היכולת של מודל קיים להבין הנחיות מורכבות על גבי תמונות בפורמט המותאם של LLaVA.
- הבנת מסמכים וגרפים
אימון רכיבי פענוח על שאלות ותרשימים בעזרת המידע מתוך DocVQA ו־DVQA.
איפה זה נופל
הנתונים קיימים באנגלית בלבד ואין פה עברית בכלל. בנוסף, המפרסמים מציינים שספירת התמונות מבוססת על מזהים בלבד, ולכן יש כפילויות של אותן תמונות בין מקורות שונים. התיחום של תיבות הסימון בחלק של LLaVA מבוסס על תמונות עם ריפוד, מה שדורש תשומת לב בעיבוד. מעבר לזה, חלק מהתמונות עלולות לרדת מהרשת בכל רגע אם בעלי הזכויות המקוריים ידרשו זאת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתמך עליו למוצר מסחרי. לא הוגדר רישיון רשמי למאגר עצמו, והוא כולל תערובת של 20 מקורות שלכל אחד מהם תנאי שימוש משלו. חלק מהדאטה נוצר באמצעות מודלים של OpenAI וחלק מגיע ממאגרי מחקר שמגבילים שימוש כזה.
האם יש במאגר תמיכה בשפה העברית?
לא, כל הטקסטים וההוראות בדאטהסט מוגדרים באנגלית בלבד. אם אתם צריכים ללמד מודל לענות על שאלות או לתאר תמונות בעברית, תצטרכו לתרגם את הנתונים בעצמכם או לשלב מקורות נוספים.
מאיפה הגיעו הנתונים ואיך עיבדו אותם?
הנתונים נאספו מ־20 מאגרים ציבוריים מוכרים כמו COCO, ScienceQA ו־DocVQA, לצד סטים שנוצרו על ידי GPT-4. החוקרים של BAAI הוסיפו הנחיות טקסטואליות ידניות ותבניות קבועות כדי להתאים את כל המשימות לפורמט אימון אחיד.
האם המאגר כולל את קובצי התמונות עצמם?
התמונות מאוחסנות בתיקייה ייעודית במאגר או ניתנות להורדה מהאתרים המקוריים לפי הקישורים המצורפים. המפרסמים מבהירים כי התמונות עלולות להימחק מהמאגר בכל שלב אם בעלי הזכויות המקוריים יבקשו זאת.
איך טוענים
הנתונים מחולקים ל־48 קבצים, כאשר קובצי ההוראות נמצאים בתיקיית data בפורמט JSON, והתמונות יושבות בתיקיית images או באתרים הרשמיים של המקורות. אין צורך באישור גישה מיוחד כדי להוריד את המאגר מ־Hugging Face. צריך לקחת בחשבון שמדובר במיליוני דוגמאות ובמאות אלפי תמונות, כך שזמן ההורדה ונפח האחסון הנדרש משמעותיים, וחשוב לוודא התאמה לקובצי ה־JSON המקבילים לכל משימה.
from datasets import load_dataset
ds = load_dataset("BAAI/DataOptim")הרישיון
המאגר פורסם ללא רישיון מוגדר, מה שיוצר סיכון משפטי ברור. המפרסמים מדגישים שחובה לציית לרישיונות המקוריים של כל אחד מ־20 המאגרים ושאין להשתמש בתמונות למטרות אחרות. אם אתם מתכננים לאמן מודל לשימוש מסחרי, לא כדאי לגעת בזה בלי לבדוק בנפרד את תנאי השימוש של כל מקור, במיוחד הדאטה שיוצר באמצעות GPT-4.