e621-2024
קוד פתוחboxingscorpionbagelmit2024-04-07
מאגר ענק של תמונות אמנות פרוותית מלווה במטא דאטה מפורט. מי שמאמן מודלים של יצירת תמונה או תיוג בסגנון הזה ימצא כאן מיליוני דוגמאות ממוינות.
- 333הורדות בחודש
- 22לייקים
מה זה
המאגר מבוסס על ייצוא בסיס הנתונים של e621, אתר שיתוף תמונות מוכר של קהילת הפרוותיים, מתאריך 7 באפריל 2024. הוא כולל בין מיליון לעשרה מיליון רשומות, ומסודר בצורה שמחקה מאגרים דומים כמו danbooru2023. התמונות עצמן מחולקות לאלף תיקיות משנה, שממוספרות מ־0000 עד 0999, לפי מזהה התמונה באתר בחלוקת מודולו אלף.
לצד התמונות יש תיקיית מטא דאטה שמכילה קבצי מידע על הפוסטים, התגיות, הקשרים ביניהן ואוספי תמונות. המידע הזה זמין בשני פורמטים, קבצי csv דחוסים וקבצי parquet, כך שאפשר לעבוד ישירות עם הנתונים הטבלאיים בלי לפרוק את כל קבצי הטקסט ידנית. הכרטיס לא מפרט סינון כלשהו שבוצע על התכנים לפני האריזה.
מתאים ל
- אימון מודלי טקסט לתמונה
התאמת מודלי דיפוזיה לסגנון אמנות פרוותי באמצעות תמונות ותגיות מוגדרות.
- סיווג ותיוג תמונות
בניית מסווגים שמזהים דמויות, מאפיינים וסגנונות מתוך קובצי התגיות.
- המרת תמונה לתמונה
אימון מודלים לשינוי סגנון או השלמת פרטים באיורים קיימים.
איפה זה נופל
מדובר בתוכן שמקורו באתר שמוגדר למבוגרים, ללא סינון מדווח בכרטיס, מה שמחייב בדיקה יסודית לפני שמכניסים אותו למערכת כלשהי. התגיות והמטא דאטה מבוססים על האתר המקורי, באנגלית בלבד וללא עברית. בנוסף, המאגר משקף נקודת זמן אחת מאפריל 2024, כך שכל מה שנוסף או עודכן באתר מאז פשוט לא קיים בו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי של המאגר הוא MIT, שמתיר שימוש מסחרי חופשי. העניין מורכב יותר כי התמונות נאספו ממשתמשי האתר, וזכויות היוצרים של היצירות המקוריות לא בהכרח מכוסות ברישיון הזה.
איך טוענים את הנתונים אם אין תמיכה בספריית datasets?
צריך להוריד את הקבצים ישירות מהמאגר בעזרת כלי הורדה רגילים. לאחר מכן קוראים את קובצי ה־parquet כדי לקבל את רשימת המזהים והתגיות, וטוענים את התמונות מהתיקיות הממוספרות לפי הצורך.
האם יש במאגר שמות או תיאורים בעברית?
אין עברית כלל. כל התגיות, השמות והמטא דאטה מגיעים מאתר e621 ומנוהלים באנגלית בלבד.
מה ההבדל בין המאגר הזה לבין danbooru2023?
המבנה הטכני דומה מאוד, כולל החלוקה לאלף תיקיות לפי מזהה. ההבדל המרכזי הוא התוכן, כאשר כאן מדובר בתמונות פרוותיים מ־e621 ולא באמנות אנימה כללית כמו בדאנבורו.
איך טוענים
אין כאן סקריפט טעינה מובנה, ולכן אי אפשר לטעון אותו ישירות עם הספרייה של Hugging Face בפקודה אחת. צריך להוריד את הקבצים, בסך הכל 1,012 קבצים במאגר, ולבנות סקריפט עיבוד עצמאי. המטא דאטה בפורמט parquet מומלץ למי שרוצה לסנן לפי תגיות בפוסטים לפני שנוגעים בתמונות עצמן.
from datasets import load_dataset
ds = load_dataset("boxingscorpionbagel/e621-2024")הרישיון
המאגר מפורסם תחת רישיון MIT, מה שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה למעט מתן קרדיט. עם זאת, התמונות עצמן נאספו מאתר צד שלישי ונוצרו על ידי משתמשים שונים, כך שחובת הבדיקה לגבי זכויות היוצרים של התוכן עצמו נשארת עליכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש