RealSyn100M
קוד פתוחKaichengalexmit2025-01-15
מאגר ענק של תמונות המוצמדות לטקסטים אמיתיים שנשלפו ממסמכים מעורבים, לצד טקסטים סינתטיים מועשרים. הוא פותר את בעיית המחסור בתיאורים מפורטים עבור אימון מודלי ראייה ושפה רחבי היקף.
- 1,012הורדות בחודש
- 16לייקים
מה זה
המאגר הזה נבנה מתוך מסמכים מעורבים של תמונה וטקסט מהרשת, במטרה להפוך מידע לא מצומד לזוגות איכותיים לאימון ראייה שפה. החוקרים פיתחו צינור חילוץ שמוציא תמונות וטקסטים מהמסמכים, ולאחר מכן משתמש באחזור היררכי כדי להצמיד לכל תמונה כמה טקסטים ריאליסטיים שרלוונטיים אליה סמנטית מתוך המסמך המקורי.
כדי להוסיף פרטים חזותיים עדינים שלא הופיעו בטקסט הגולמי, המערכת מייצרת טקסטים סינתטיים מועשרים שמבוססים על התמונות ועל הטקסט האמיתי שנשלף. בנוסף, מופעלת דגימה מאוזנת סמנטית כדי להגדיל את המגוון ולכסות מושגי זנב ארוך. המאגר כולו מורכב מזוגות המכילים טקסט ריאליסטי וטקסט סינתטי, כאשר הפרויקט מחולק לשלושה גדלים שונים: 15 מיליון, 30 מיליון, וגרסת ה־100 מיליון שמוצגת כאן.
ניתוח הנושאים של הנתונים מדגים חלוקה לקטגוריות כמו חיות, אוכל, מטוסים, פרחים, רכב ואתרי תיירות. ההשוואות מול מאגרים ותיקים מתמקדות בעושר הטוקנים ובמספר הישויות הייחודיות בתיאורים, מה שמראה שהשילוב הסינתטי מרחיב משמעותית את כמות המידע סביב כל פריט חזותי.
מתאים ל
- אימון מודלי CLIP
אימון מקדים של מודלי ראייה ושפה על זוגות עשירים של תמונה וטקסט בהיקף גדול.
- אחזור תמונה וטקסט
בניית מערכות חיפוש מולטימודליות בעזרת תיאורים מפורטים הכוללים ישויות רבות.
- מחקר נתונים סינתטיים
בחינת ההשפעה של טקסט סינתטי מול טקסט רשת אותנטי על ביצועי המודל הסופי.
איפה זה נופל
הנתונים מתבססים על זחילת רשת גלובלית, ולפי כרטיס הדגם לא מצוין תהליך סינון ידני של תוכן פוגעני או בדיקת זכויות יוצרים של התמונות המקוריות מהמסמכים. אין כל אזכור לתמיכה בעברית, והטקסטים שנבדקו נשענים על אנגלית, כך שסביר להניח שמושגים מקומיים ישראליים ייעדרו כמעט לחלוטין.
בנוסף, הטקסטים הסינתטיים נוצרו על ידי מודלים שעלולים להכניס הזיות ופרטים שגויים שאינם מופיעים באמת בתמונה. לפני שמשלבים את המאגר באימון מודל מוצרי, חובה לדגום את איכות התיאורים הסינתטיים ולבדוק האם ההטיות הנושאיות מתאימות לקהל היעד שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא ללא הגבלת פיתוח. עם זאת, התמונות נאספו מהרשת הפתוחה ואין בכרטיס פירוט לגבי זכויות היוצרים על המדיה המקורית עצמה. מומלץ לבצע בדיקה משפטית על אופי השימוש לפני שמשלבים אותו במוצר קצה.
האם יש במאגר נתונים בעברית?
הכרטיס והמאמר אינם מזכירים תמיכה בעברית או סינון רב לשוני מתוכנן. רוב מוחלט של החומר נשען על מקורות באנגלית וטקסטים סינתטיים שנוצרו באנגלית. אם אתם מחפשים אימון ישיר לשפה המקומית, הדאטהסט הזה כנראה לא ייתן לכם מענה ללא תרגום מקדים.
איך המאגר נאסף ונבנה בפועל?
החוקרים אספו מסמכים מעורבים מהרשת וחילצו מהם תמונות ופסקאות נפרדות. לאחר מכן הם ביצעו אחזור היררכי כדי לשדך לכל תמונה את הטקסטים המתאימים לה ביותר מתוך המסמך. לבסוף, מודל ייצור יצר טקסט סינתטי מועשר כדי לתאר את המידע החזותי לעומק.
במה הוא שונה ממאגרים כמו LAION?
בניגוד למאגרי תמונות עם תגיות אלט קצרות ורועשות, כאן משלבים טקסט אותנטי מתוך מסמך יחד עם טקסט סינתטי מפורט. הגישה הזו מייצרת מספר גבוה יותר של ישויות ייחודיות וטוקנים לכל תמונה. התוצאה היא עושר סמנטי גבוה יותר שמשפר משימות של אפס דוגמאות.
איך טוענים
המאגר זמין להורדה ישירה דרך האתר של האגינג פייס וכולל 143 קבצים, ללא צורך בהרשאה מוקדמת או אישור גישה מיוחד. לפני שמתחילים להוריד, חובה לקחת בחשבון שמדובר בהיקף של 100 מיליון דוגמאות מולטימודליות, מה שדורש נפח אחסון מסיבי, רוחב פס גבוה ותשתית מתאימה לפריסה מקומית.
השדות המרכזיים שתרצו לבדוק בנתונים כוללים את התמונה עצמה, את הטקסט האמיתי שנשלף מהמסמך, ואת הטקסט הסינתטי שנוצר עבורה. שווה לעיין במאמר ובקוד הפרויקט בגיטהאב כדי להבין את מבנה החבילות המדויק ואת אופן הטעינה היעיל ביותר לצורכי אימון מקבילי.
from datasets import load_dataset
ds = load_dataset("Kaichengalex/RealSyn100M")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי, הפצה ושימוש פרטי ללא צורך בשיתוף הנגזרות באותו רישיון. החובה היחידה היא לכלול את הצהרת זכויות היוצרים וכתב הוויתור המקוריים בכל עותק, מה שמאפשר לאמן עליו מודלים מסחריים בחופשיות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש