pure-danbooru

מה זה

המאגר מבוסס על תמונות שנאספו מדנבורו ומקורות משלימים כמו גלברו עד אפריל 2024. היוצר סינן החוצה קבצים מתחת לעשרה קילובייט או מעל חמישה עשר מגהבייט, וכן פוסטים עם דירוג קהילה שלילי. כל התמונות הומרו לפורמט וובפי באיכות 90, כשהצלע הארוכה כווצה ל־2048 פיקסלים, ורקעים שקופים הוחלפו בלבן כדי למנוע רעש באימון.

המבנה הפנימי מורכב מקובצי ארכיון מחולקים לפי מזהי תמונות בקבוצות של 15,000. תיקיית התגיות מסדרת את המטא-דאטה בסדר קבוע שכולל את שם האמן, היצירה, הדמות, תגיות כלליות ודירוג גיל, יחד עם מפרידים שמיועדים ישירות לסקריפטים של אס-די. בנוסף, ערוצי האלפא המקוריים נשמרו בנפרד כקבצי שחור-לבן למי שצריך לשחזר את השקיפות, וישנם קובצי ג'ייסון ענקיים שמקשרים בין שמות הקבצים לתגיות.

מתאים ל

• אימון מודלי תמונה

  אימון בסיס או פיין-טיונינג למודלי טקסט-לתמונה בסגנון איור ואנימה.

• הסרת רקעים

  אימון מודלים להפרדת דמויות מהרקע בעזרת מסיכות השקיפות השמורות.

• סיווג ותיוג תמונות

  בניית מודלי ראייה ממוחשבת לזיהוי מאפייני דמויות ותגיות תוכן אוטומטיות.

איפה זה נופל

אין כאן כיתובים טקסטואליים מלאים באנגלית או בעברית, אלא רק רשימות של תגיות באנגלית שמקורן במשתמשי האתר. היוצר מציין במפורש שהדגמים הפתוחים לניתוח תמונה לא הצליחו להתמודד היטב עם יפנית או זיהוי עמוק של דמויות, ולכן ויתר על כיתוב חופשי. בנוסף, התוכן מכיל איורי אנימה ללא צנזורה בכל דרגות התוכן, מה שמחייב סינון עצמאי אם היעד הוא אימון מודל שמיועד לקהל רחב או לשימוש בסביבה מפוקחת.

איך טוענים

מורידים את המאגר באמצעות שורת הפקודה של האגינג פייס ישירות למחשב או למכונה בענן. הנתונים מגיעים בארכיוני טאר דחוסים בהיקף של כ־1.3 טרה-בייט. השימוש בקובצי הג'ייסון המוכנים דורש תשומת לב, כי הנתיבים בהם מוגדרים בצורה מוחלטת לכונן ווינדוס מקומי של היוצר, מה שמחייב הרצה של פקודת החלפת מחרוזות לנתיב העבודה שלכם, או עדכון בקוד של סקריפט האימון כדי שיתמוך בנתיבים יחסיים.

from datasets import load_dataset

ds = load_dataset("WarriorMama777/pure-danbooru")

הרישיון

הרישיון המדווח במאגר הוא creativeml-openrail-m, שזהה לרישיון הבסיס של סטייבל דיפיוז'ן. הוא מתיר שימוש מסחרי ומחקר, אך מטיל מגבלות שימוש לרעה ומחייב החלת אותן הגבלות על מודלים שמבוססים עליו. עם זאת, התמונות עצמן נאספו ברשת מיוצרים מקוריים ללא אישור פרטני, כך שההיבט המשפטי של זכויות היוצרים על האיורים נשאר באחריות המשתמש.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗