X2I2
קוד פתוחOmniGen2apache-2.02025-06-25
מאגר נרחב לאימון מודלים של עריכת תמונות ומשימות תמונה לכל דבר, באנגלית ובסינית. הוא מציע נתונים מובנים של הקשר, עריכה רב שלבית ותיקון שגיאות עצמי שלא מוצאים בקלות במקומות אחרים.
- 1,280הורדות בחודש
- 39לייקים
מה זה
המאגר כולל בין מיליון לעשרה מיליון רשומות המחולקות למספר משימות מרכזיות סביב תמונות ווידאו. תמצאו כאן עריכת וידאו, יצירה ועריכה בהקשר רב תמונתי, שזירת תמונות ווידאו, ותת מאגר ייעודי של רפלקציה ותיקון עצמי. ברוב החלקים יש קובצי מטא נתונים מקבילים באנגלית ובסינית בפורמט jsonl.
חלק הרפלקציה בנוי סביב תמונות שהמודל ייצר, תמונת מטרה נכונה, והוראות לתיקון הפגמים שנוצרו. אם תמונה מסוימת יצאה ללא שגיאות, שדה ההוראה לתיקון נשאר ריק. המפרסמים לא ציינו בדף מאיזה מקורות רשת או מאגרים חיצוניים נאספו תמונות המקור ואיך בוצע הסינון המקדים.
מתאים ל
- אימון מודל לעריכת תמונות
שימוש ברצפי התמונות וההנחיות באנגלית או סינית ללימוד עריכה מבוססת טקסט.
- לימוד מנגנון תיקון עצמי
אימון מודלים על נתוני הרפלקציה כדי לזהות שגיאות פלט ולתקן אותן בהתאם למטרה.
- יצירה בהקשר מרובה תמונות
בניית יכולות any-to-any המשלבות מספר פריימים והקשרים ויזואליים שונים.
איפה זה נופל
חלק ה inpaint נמצא תחת תיקון והיוצרים מבקשים במפורש לא להוריד אותו כרגע. הטקסטים מוגבלים לחלוטין לאנגלית ולסינית, כך שאין שום תמיכה בעברית. בנוסף, חסר מידע בסיסי על מקור התמונות, זכויות היוצרים של היצירות המקוריות, והאופן שבו נופו תכנים בעייתיים. חייבים לבדוק מדגמית את הקבצים לפני שמזינים אותם לאימון רציני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0, שמתיר שימוש מסחרי ושינוי הנתונים. עם זאת, היוצרים לא פירטו מהם מקורות התמונות הראשוניים, ולכן האחריות המשפטית על התוכן עדיין עליכם.
האם יש במאגר נתונים בעברית?
לא, המאגר כולל אך ורק הנחיות ומטא נתונים באנגלית ובסינית. אם המטרה היא עבודה בעברית, תצטרכו לתרגם את קובצי ה jsonl או לאמן שכבת התאמה בנפרד.
איך בנויים נתוני הרפלקציה במאגר?
הרשומות כוללות תמונות שהמודל הפיק לצד תמונת אמת. כשיש פער או שגיאה ביצירה, מופיעה הוראת תיקון ייעודית, וכשהפלט תקין לחלוטין השדה נשאר ריק.
האם כל חלקי המאגר זמינים כרגע להורדה?
לא כולם. קובצי ה inpaint נמצאים בתהליך תיקון והיוצרים מבקשים לא להוריד אותם, בעוד שחלק הרפלקציה תוקן וזמין.
איך טוענים
ההורדה לא מתבצעת בשורה אחת של קוד. המאגר מורכב מ 973 קבצים, והתמונות מחולקות לחבילות דחוסות מפוצלות שדורשות איחוד ידני באמצעות פקודת cat וחילוץ של tar.gz בדיסק המקומי. לכל משימה יש קובץ jsonl נפרד עבור אנגלית וסינית. קחו בחשבון נפח אחסון משמעותי מאוד וזמני הורדה ארוכים לפני שמתחילים לחלץ את החלקים.
from datasets import load_dataset
ds = load_dataset("OmniGen2/X2I2")הרישיון
המאגר פורסם תחת רישיון apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי והפצה של הנתונים. מותר לאמן עליו מודלים מסחריים בלי לחשוף את קוד המקור, אך נדרש לשמר את הודעות זכויות היוצרים והרישיון המקורי. יש לוודא שהתמונות המקוריות עצמן אינן מפרות זכויות צד שלישי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים