UNO-1M
קוד פתוחbytedance-researchapache-2.02025-08-15
מיליון זוגות תמונות ברזולוציה גבוהה סביב אותו נושא. נוצר כדי ללמד מודלים לשמור על עקביות של דמויות וחפצים בין יצירות שונות.
- 1,162הורדות בחודש
- 25לייקים
מה זה
המאגר כולל סביב מיליון זוגות של תמונות שנוצרו על ידי מודלים של טקסט לתמונה, סביב יותר מ־365 קטגוריות שונות. כל רשומה מורכבת מזוג תמונות, תיאור טקסטואלי לכל תמונה, הגדרה של הנושא המשותף, וציוני סינון שחושבו באמצעות מודל שפה חזותי כדי לבדוק עד כמה האובייקט באמת נשמר בין שני הפריימים. התמונות מגיעות ברזולוציה של סביב 1024x1024 ביחסי תצוגה משתנים.
הקבצים מחולקים למבנה של תיקיות מכווצות בפורמט tar.gz לצד קובצי json עם התיוגים לפי חלוקות. המידע בתוויות כולל פירוק של ציוני עקביות לחלקים שונים של האובייקט וציון סופי, מה שמאפשר לסנן החוצה דוגמאות שבהן המודל שינה את הפרטים של הנושא.
מתאים ל
- אימון מודלים מונחי נושא
לימוד מודלי תמונה לשמור על מראה זהה של חפץ או דמות בסצנות שונות.
- אימון מודלי תגמול לעקביות
שימוש בציוני הפירוק של הראייה הממוחשבת לאימון מודל שמדרג עקביות חזותית.
- הערכת עקביות במודלי תמונה
בדיקת היכולת של ארכיטקטורות קיימות לייצר את אותו אובייקט בהקשרים חדשים.
איפה זה נופל
כל התמונות במאגר נוצרו באופן סינתטי על ידי מודלים, ולכן הן כוללות את העיוותים והסגנון האופייניים לגנרציה ולא מייצגות צילום אמיתי מהעולם. הטקסט והתיוגים מופיעים באנגלית בלבד. בנוסף, חובה לסנן את המאגר לפי ציוני העקביות לפני השימוש. החוקרים עצמם מציינים שעבור אימון מודלים מומלץ לעבוד רק עם ציון סופי של 3.5 ומעלה, וכי בעבודה שלהם השתמשו רק בציון 4 מושלם, כך שחלק ניכר מהמיליון אינו איכותי מספיק לאימון ישיר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא apache-2.0 שמתיר שימוש מסחרי חופשי. יש להקפיד על מתן קרדיט ושמירת תנאי הרישיון המקורי בקוד או בתוכנה.
האם התמונות במאגר אמיתיות?
לא, כל התמונות נוצרו באופן מלאכותי באמצעות מודלי טקסט לתמונה מתקדמים. המאגר לא מבוסס על צילומים מקוריים ממאגרי רשת, אלא על תוצרי גנרציה שסוננו על ידי מודל שפה וחזון.
האם יש במאגר תמיכה בשפה העברית?
לא, כל התיאורים והתיוגים של האובייקטים נכתבו באנגלית בלבד. אם המודל שלכם מיועד לעבוד עם הנחיות בעברית, תצטרכו לתרגם את הטקסטים באופן עצמאי.
האם צריך להשתמש בכל מיליון הרשומות לאימון?
ממש לא מומלץ. יוצרי המאגר מציינים בעצמם שכדי לקבל תוצאות טובות בשמירה על נושא, כדאי לקחת רק זוגות עם ציון עקביות של 3.5 ומעלה, ובמחקר המקורי הם אימנו רק על דוגמאות בציון 4.
איך טוענים
הנתונים מחולקים ליותר מ־200 קבצים, כולל ארכיוני תמונות מקושרים לקובצי json מקבילים וקובץ תוויות כולל. אין צורך לבקש אישור גישה מיוחד כדי להוריד. לפני שמתחילים לאמן, תצטרכו להוריד את הארכיונים, לחלץ אותם מקומית, ולכתוב קוד סינון שיברור את הזוגות לפי השדה score_final בתוך vlm_filter_cot, בהתאם לרף האיכות שמתאים לפרויקט שלכם.
from datasets import load_dataset
ds = load_dataset("bytedance-research/UNO-1M")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. הוא אינו כופה עליכם לשחרר את המודלים שתאמנו עליו באותו רישיון פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים