spright
קוד פתוחSPRIGHT-T2Iother2024-03-11
המאגר מתמקד ביחסים מרחביים בין עצמים בתמונות, נקודת תורפה ידועה של מודלי טקסט לתמונה. הוא כולל תיאורים סינתטיים ממוקדים שנועדו לשפר דיוק של מיקומים וגדלים יחסיים.
- 859הורדות בחודש
- 33לייקים
מה זה
המאגר כולל מיליוני תמונות שנלקחו משני מקורות מרכזיים: 2.3 מיליון מתוך CC12M, שסוננו לרזולוציה של 768 פיקסלים ומעלה, ו־3.5 מיליון מתוך Segment Anything. בתמונות מ־Segment Anything סוננו מקרים עם בני אדם בעזרת גלאי העצמים Owl-V2 בגלל טשטוש פנים מובנה, והתיאורים הכלליים שלהן נוצרו באמצעות מודל CoCa. החלק של COCO זמין במאגר נפרד, ותמונות שמקורן ב־LAION לא פורסמו כאן כלל כי המקור נותר פרטי.
התוכן המרכזי שנוסף לכל תמונה הוא תיאור מרחבי בן שני משפטים שנוצר באמצעות LLaVA-1.5-13B. הפרומפט דרש מהמודל להתמקד בקשרים כמו ימין ושמאל, מעל ומתחת, קרוב ורחוק, ובגדלים יחסיים של אובייקטים. כל רשומה כוללת את קובץ התמונה, קובץ נתוני תיאור עם הכיתוב הכללי והכיתוב המרחבי, וקובץ מטא-דאטה עם הממדים והמזהה המקורי.
מתאים ל
- אימון הבנה מרחבית
שיפור היכולת של מודלי יצירת תמונה להבין פקודות של מיקום, גובה ומרחק בין אובייקטים.
- כוונון מודלי ראייה ושפה
אימון של מודלי ראייה רב-מודאליים על שאלות ותשובות שדורשות אבחנה בין ימין לשמאל או גדלים.
- בדיקת איכות יחסים בתמונה
שימוש בנתונים כבסיס להערכת ביצועים של מודלים קיימים ביצירת סצנות מרובות עצמים.
איפה זה נופל
הכיתובים נוצרו על ידי מודל שפה ולא נבדקו ידנית במלואם. בהערכה אנושית שבדקה מדגם של משפטים בודדים מתוך התיאורים, רמת הדיוק עמדה על 66.57% בלבד, מה שמלמד על כמות משמעותית של כיתובים שגויים במאגר. בהערכת GPT-4V הציון החציוני היה 7 מתוך 10. בנוסף, כל הטקסט באנגלית בלבד, ואין כאן ייצוג לאנשים בחלק של Segment Anything עקב סינון הטשטוש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא באופן ישיר. המאגר מפורסם תחת רישיון Intel Research License המיועד לצורכי מחקר בלבד. שימוש בנתונים או במודלים שאומנו עליהם עבור מוצר מסחרי דורש בחינה משפטית של תנאי אינטל ותנאי המאגרים המקוריים.
האם יש במאגר תמיכה בעברית?
לא. כל התיאורים המקוריים והתיאורים המרחביים שנוצרו על ידי LLaVA נכתבו באנגלית בלבד. כדי להשתמש בו לאימון מודל בעברית תצטרכו לתרגם את הכיתובים קודם לכן.
במה הוא שונה מ־CC12M הרגיל?
במאגר הזה התמונות מ־CC12M סוננו כך שנשמרו רק כאלה ברזולוציה של 768 פיקסלים ומעלה. בנוסף, לכל תמונה הוצמד תיאור סינתטי חדש שמפרט במפורש את היחסים והמיקומים של העצמים בפריים, בניגוד לטקסט הרשת המקורי שלרוב חסר את המידע הזה.
האם המאגר כולל בני אדם?
בחלקיק שנלקח מ־Segment Anything אין בני אדם כלל, מכיוון שהתמונות המקוריות כללו טשטוש פנים והיוצרים סיננו אותן בעזרת גלאי עצמים. בחלק שנלקח מ־CC12M עשויים להופיע אנשים, אך הדגש הכללי בתיאורים הוא על קשרים גאומטריים ומרחביים.
איך טוענים
הנתונים מחולקים למאות קובצי tar, כאשר כל קובץ מכיל 10,000 דוגמאות. הטעינה נעשית בעזרת סקריפט ייעודי בשם load_data.py שמספקים היוצרים, ואין צורך בבקשת גישה מיוחדת למאגר. שמות הקבצים בתוך ארכיוני ה־tar אינם כוללים אפסים מובילים, כך שמיון פשוט לפי סדר אלפביתי בקוד עלול לשבש את הסדר ויש להשתמש במיון טבעי.
from datasets import load_dataset
ds = load_dataset("SPRIGHT-T2I/spright")הרישיון
המאגר מופץ תחת רישיון מחקר של אינטל, Intel Research License, ולא תחת רישיון פתוח סטנדרטי. ההגדרה הזו מגבילה את השימוש למטרות מחקר בלבד ולא מתירה שימוש מסחרי ישיר. מי שמתכנן לאמן מודל למוצר מסחרי צריך לבדוק היטב את תנאי הרישיון של אינטל ושל המאגרים המקוריים שמהם נלקחו התמונות.