Subjects200K
קוד פתוחYuanshiapache-2.02024-11-17
מאגר של מאתיים אלף זוגות תמונות ששומרים על אותו אובייקט בהקשרים ויזואליים שונים. הוא נבנה במיוחד לאימון מודלים מבוססי דיפוזיה שצריכים עקביות של נושא בלי לאבד את הסביבה החדשה.
- 460הורדות בחודש
- 49לייקים
מה זה
המאגר מציג רשומות המורכבות מתמונה אחת מאוחדת של זוג תמונות עם ריפוד של 16 פיקסלים ביניהן, לצד תיאור טקסטואלי ומדדי איכות. הרעיון המרכזי הוא לשמור על אותו אובייקט בדיוק כשסביבתו משתנה, מה שמתאים למשימות בקרת תמונה ומודלים כמו אלה שנחקרו בפרויקט OminiControl.
הנתונים מחולקים לאוספים. האוסף הראשון כולל 18,396 זוגות ברזולוציה של 512 על 512, שמתוכם 8,200 מדורגים באיכות גבוהה. האוסף השני גדול בהרבה וכולל 187,840 זוגות באותה רזולוציה, עם 111,767 זוגות באיכות גבוהה. קיים גם אוסף שלישי ברזולוציית 1024 על 1024 אך הוא יושב במאגר נפרד.
הערכת האיכות נעשתה באמצעות המודל ChatGPT-4o, שנותן ציונים מ־0 עד 5 על מבנה מורכב, עקביות האובייקט ואיכות התמונה הכללית. הכרטיס לא מפרט מאיזה מקורות אינטרנט או מאגרי בסיס נאספו התמונות המקוריות עצמן.
מתאים ל
- אימון בקרת עקביות
אימון מודלים גנרטיביים מבוססי דיפוזיה לשמירה על זהות חפץ או דמות בסצנות שונות לחלוטין.
- הערכת עקביות ויזואלית
בדיקת היכולת של מודלים קיימים לזהות ולמדוד אם אותו אובייקט נשמר לאורך שינויי רקע ותאורה.
- עריכת תמונות מונחית טקסט
פיתוח כלים לשינוי סביבה של אובייקט נתון בעזרת התיאורים הטקסטואליים המצורפים לכל זוג.
איפה זה נופל
חלק ניכר מהזוגות לא עומד ברף איכות גבוה. מתוך יותר ממאתיים אלף זוגות בשני האוספים, עשרות אלפים מקבלים ציונים נמוכים בבדיקות של ChatGPT-4o ודורשים סינון יזום בקוד כדי לא ללכלך את האימון.
בנוסף, הכרטיס מציין שמבנה שדות התיאור עשוי להשתנות בין אוספים שונים, כך שאי אפשר להסתמך על סכמה אחידה לחלוטין. מקור התמונות הראשוני לא מתועד כלל, ואין פרטים על הטיות ויזואליות או חלוקה לקטגוריות של אובייקטים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן. הרישיון המוגדר במאגר הוא Apache 2.0, שמאפשר שימוש מסחרי מלא ואימון מודלים למטרות רווח. יש לצרף את תנאי הרישיון המקוריים ואת הודעת הייחוס של היוצרים.
איך בנויים הקבצים בפועל?
הנתונים מאורגנים ב־32 קובצי Parquet שונים שמכילים את התמונות המאוחדות והמטא-דאטה. אין צורך לחבר קבצים ידנית, ספריית datasets מטפלת בפריסה ובטעינה ישירות מהמאגר.
האם יש במאגר תמיכה בעברית?
לא. התיאורים הטקסטואליים של התמונות וההערכות נוצרו ונשמרו באנגלית בלבד. אם רוצים להשתמש בטקסטים בעברית לצורך אימון, תצטרכו לתרגם את שדה התיאורים באופן עצמאי.
למה מומלץ לסנן את הנתונים לפני השימוש?
חלק גדול מהתמונות במאגר קיבלו ציונים נמוכים במבחני האיכות שנערכו על ידי המודל GPT-4o. המחברים עצמם ממליצים להריץ סינון ולהשאיר רק זוגות שקיבלו ציון 5 בכל המדדים של איכות, מבנה ועקביות.
איך טוענים
טוענים אותו בקלות בפייתון בעזרת ספריית datasets של Hugging Face בפקודה load_dataset('Yuanshi/Subjects200K'). אין צורך בבקשת גישה מיוחדת או אישור ידני, הכל פתוח להורדה ישירה.
המידע מחולק ל־32 קובצי Parquet של נתוני אימון. בכל רשומה תמצאו את עמודת התמונה, שם האוסף, מילון התיאור הטקסטואלי, ומילון הערכת האיכות שחשוב מאוד להשתמש בו לסינון זוגות חלשים לפני תחילת העבודה.
from datasets import load_dataset
ds = load_dataset("Yuanshi/Subjects200K")הרישיון
המאגר משוחרר ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל שילובם במוצרים סגורים ובאימון מודלים מסחריים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית, ללא חובה לשתף את השינויים או המודל הסופי תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים