InternVL-SA-1B-Caption
קוד פתוחOpenGVLabmit2024-09-20
המאגר כולל 12 מיליון תיאורי תמונות באנגלית ובסינית שנוצרו על גבי תמונות ממאגר SA-1B של מטא. הוא נבנה במיוחד לאימון מודלי ראייה ושפה שזקוקים לתיאורים מפורטים בלי הזיות.
- 212הורדות בחודש
- 24לייקים
מה זה
מדובר באוסף של 12 מיליון זוגות של תמונה ותיאור טקסטואלי. הטקסטים לא נכתבו בידי אדם, אלא הופקו על ידי המודל InternVL2-Llama3-76B באמצעות כלי ההרצה lmdeploy. התמונות עצמן מגיעות כולן ממאגר SA-1B המקורי של מטא, וההנחיה שניתנה למודל דרשה לייצר פסקה אחת עובדתית, מדויקת, וללא ספקולציות לגבי מה שלא מופיע בבירור בתמונה.
התוכן מחולק לארבעה קבצים עיקריים לפי שפה ומבנה. החלק המרכזי מכיל 11 מיליון תיאורים לתמונה בודדת באנגלית, ועוד מיליון תיאורים לתמונה בודדת בסינית. בנוסף יש שני קבצים קטנים יותר, 77 אלף דוגמאות בכל אחד, שמכילים תיאורים של מספר תמונות יחד, אחד באנגלית ואחד בסינית. תהליך הסינון של היוצרים כלל הסרה של חריגות כמו תיאורים קצרים או ארוכים מדי, ודגימות כפולות.
מתאים ל
- אימון מודלי ראייה ושפה
כיול של מודלים מולטימודליים על כמות גדולה של תיאורי תמונה מפורטים באנגלית ובסינית.
- הבנת רצף תמונות
אימון מודלים על דוגמאות מרובות תמונות באמצעות קובצי ה־77K שמקשרים בין כמה תמונות.
- אימון מודלים לתיאור תמונה
לימוד מודלים לייצר פסקאות תיאור עובדתיות וממוקדות בלי תוספות מיותרות.
איפה זה נופל
כל התיאורים כאן הם נתונים סינתטיים שנוצרו על ידי מודל שפה, ולא על ידי בני אדם. למרות שההנחיות דרשו להימנע מניחושים, מודלים עדיין טועים ומייצרים הזיות מדי פעם. בנוסף, אין כאן עברית בכלל. הדאטהסט כולו מוגבל לאנגלית ולסינית, כך שהוא לא יעזור למי שמחפש לכייל מודל מקומי ישירות בעברית. חיסרון משמעותי נוסף הוא התלות המוחלטת בהורדה נפרדת של תמונות SA-1B.
שאלות
נפוצות
האם התמונות עצמן כלולות בהורדה?
לא, המאגר כולל רק את קובצי ה־JSONL עם התיאורים. את התמונות צריך להוריד בנפרד ישירות ממאגר SA-1B של חברת מטא לפי הכללים שלהם.
האם יש במאגר תיאורים בעברית?
אין במאגר עברית בכלל. כל התיאורים חולקו בין אנגלית לסינית בלבד, כאשר הרוב המוחלט של החומר, 11 מיליון רשומות, מנוסח באנגלית.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
הטקסטים שפורסמו כאן מוגדרים תחת רישיון MIT שמאפשר שימוש מסחרי. יחד עם זאת, השימוש בתמונות עצמן כפוף לתנאי הרישיון של מטא עבור SA-1B, וחובה לבדוק אותם בנפרד.
איך נוצרו התיאורים של התמונות?
החוקרים הריצו את המודל InternVL2-Llama3-76B עם תשתית lmdeploy על התמונות של מטא. הם השתמשו בפרומפטים שהורו למודל לתאר רק מה שנראה בעין ולסנן תיאורים חריגים או כפולים.
איך טוענים
הנתונים מגיעים בקובצי JSONL, כך שטוענים אותם רגיל עם פייתון או דרך ספריית datasets. חשוב להבין שהמאגר מכיל רק את קובצי הטקסט והמטא-דאטה. התמונות עצמן לא נמצאות פה, וכדי להשתמש בהן תצטרכו לגשת ישירות למאגר SA-1B של מטא ולהוריד אותן לפי ההנחיות והתנאים שלהם.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/InternVL-SA-1B-Caption")הרישיון
המאגר עצמו מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, התמונות שייכות לפרויקט SA-1B של מטא, ולכן חובה לבדוק ולעמוד גם בתנאי הרישיון הנפרדים של מטא על התמונות עצמן לפני שמאמנים עליהן מודל מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש