e621-2024-webp-4Mpixel

מה זה

המאגר מבוסס על דאטהסט קודם של המשתמש boxingscorpionbagel ומכיל בין מיליון לעשרה מיליון רשומות. מדובר באוסף אמנות חזותית של דמויות אנתרופומורפיות, שנלקח מהאתר e621. היוצר המקורי הכין את הגרסה הזו לצורך אישי וביצע בה סינון טכני בלבד.

כל התמונות עברו הקטנה באינטרפולציית bicubic כך שהצלע הקצרה לא תעלה על 2048 פיקסלים והארוכה על 8192 פיקסלים, ונשמרו בפורמט webp באיכות 90 אחוז. קבצים שאינם תמונות סטטיות, כמו סרטוני webm, אנימציות gif וקובצי swf, נזרקו החוצה יחד עם תמונות פגומות. הנתונים מחולקים לאלפי זוגות של קובצי tar וקובצי json תואמים תחת תיקיית original.

מתאים ל

• אימון מודלי תמונה

  אימון משקלים ורכיבי LoRA להבנת סגנונות איור ודמויות אנתרופומורפיות.

• משימות תמונה לתמונה

  הזנת תמונות מקור לצורך שינוי סגנון או השלמת פרטים באיכות גבוהה.

• בדיקת דחיסה ואחסון

  בחינת ביצועים של צינורות עיבוד על מיליוני קובצי webp מקוטלגים.

איפה זה נופל

היוצר מבהיר שהעיבוד נעשה לצרכיו האישיים ולא מפרט שום סינון תוכן שנעשה מעבר להסרת קבצים שבורים ופורמטים לא רלוונטיים. האתר שממנו החומר נאסף ידוע בריבוי תכנים למבוגרים וסגנון אמנותי ספציפי מאוד של קהילת הפורי, כך שהטיה סגנונית ונושאית קיימת כאן במלואה. הטקסטים והתגיות באנגלית בלבד ואין שום תמיכה בעברית. לא הייתי מכניס את החומר הזה לאימון מודל כללי בלי להריץ קודם סינון תוכן אגרסיבי משלכם.

איך טוענים

אין צורך בבקשת גישה מיוחדת, ההורדה פתוחה ישירות מהמאגר. בגלל החלוקה לאלפי ארכיונים, אפשר להוריד קובצי tar שלמים ישירות, או להשתמש בספריית hfutils כדי לשלוף קובצי webp בודדים לפי צורך בלי להוריד את כל הנפח מראש. קובצי ה־json המצורפים מכילים את המידע הנלווה לכל תמונה.

from datasets import load_dataset

ds = load_dataset("NebulaeWis/e621-2024-webp-4Mpixel")

הרישיון

בדף המאגר מופיע רישיון mit, שמתיר שימוש מסחרי ושינויים בקוד, אבל היוצר כותב במפורש שצריך לפנות לפרויקט המקור לגבי רישוי וסוגיות משפטיות. בפועל התמונות עצמן שייכות לאמנים שיצרו אותן ולא ברור אם יש הרשאה לשימוש בהן, ולכן הרישיון המוצהר לא מבטיח הגנה משפטית במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗