fine-t2i

מה זה

המאגר מכיל כ־6.15 מיליון תמונות סינתטיות שנוצרו במודלים כמו Z-Image ו־FLUX2, לצד כ־168 אלף תמונות אמיתיות שנאספו מאתרים כמו Unsplash, Pexels ו־Pixabay. לפי החוקרים, מעל 95% מהמועמדים המקוריים נזרקו בתהליך סינון שכלל בדיקות בטיחות, כפילויות סמנטיות, מודל VLM שבדק פגמים ויזואליים, ופילטרים אסתטיים.

התוכן מחולק לפי סוג הפרומפט וצורת התמונה. יש חלקים עם פרומפטים מקוריים וכאלה עם פרומפטים מורחבים, בריבוע או ביחסי צד אקראיים. רוב התמונות ברזולוציה של 1K ומעלה, וכל רשומה מגיעה עם קובץ תמונה, קובץ טקסט שמכיל את התיאור, וקובץ מטא-דאטה.

מתאים ל

• פיין טיונינג למודלי תמונה

  אימון מודלי דיפוזיה פתוחים על תמונות ברזולוציה גבוהה ופרומפטים מפורטים.

• אימון כפול לפי סגנון פרומפט

  לימוד מודלים להגיב גם לפרומפטים קצרים של משתמשים וגם לתיאורים ארוכים ומורחבים.

• מחקר על דאטה סינתטי

  בדיקת ההשפעה של אימון על תמונות שנוצרו במודלים אחרים מול תמונות מצולמות.

איפה זה נופל

הנתונים כולם באנגלית, בלי אף מילה בעברית, כך שלא תוכלו לאמן איתו מודל שמבין הנחיות מקומיות. נקודה קריטית נוספת היא שרובו המוחלט מורכב מתמונות סינתטיות שמודלים אחרים ייצרו. אימון עמוק על דאטה שמיוצר ברובו בידי מכונה יכול לגרור שכפול של עיוותים וסגנונות מובנים של אותם מודלים מקוריים, למרות הסינון שהחוקרים דיווחו עליו.

איך טוענים

המאגר שוקל מעל שני טרה ומאורגן באלפי קובצי tar במבנה WebDataset, כך שהורדה מלאה לדיסק המקומי תהיה כבדה ויקרה. הגישה חופשית לגמרי ואין צורך בבקשת אישור. הדרך ההגיונית לעבוד איתו בספריית datasets היא להפעיל מצב streaming ולהצביע על התיקייה הספציפית שמעניינת אתכם. לכל דוגמה יש קובץ jpg, קובץ txt שמחזיק את הפרומפט וקובץ json עם נתונים נוספים, אבל לאימון רגיל של מודל יצירה מספיקים שני הראשונים.

from datasets import load_dataset

ds = load_dataset("ma-xu/fine-t2i")

הרישיון

המאגר מופץ ברישיון Apache 2.0. הרישיון מתיר שימוש מסחרי ומחקר, ומאפשר לאמן עליו מודלים חופשיים או מסחריים בלי לחייב אתכם לפתוח את הקוד שלכם. התנאי המרכזי הוא מתן קרדיט ושמירה על הודעות זכויות היוצרים של היוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗