Anime-Art-Multicaptions-v5.0

מה זה

הרשומות במאגר מבוססות על יצירות אנימה ומשחקים, וכוללות מגוון רחב מאיורים תמימים ועד תכני NSFW בוטים. התיאורים הופקו באמצעות מודלים כמו קלוד, ג׳מיני וסדרת GPT של OpenAI, כאשר כעשרים אחוז מהמקרים המורכבים שכללו מספר דמויות עברו בדיקה ותיקון בסבב שני.

התוכן מחולק לשמונה פורמטים של כיתובים בעמודות שונות בתוך קובץ הנתונים. יש פה טקסט רציף פשוט עם שמות דמויות או בלעדיהם, מבני JSON מפורטים שמפרקים דמויות, רקע, אפקטים וטקסטים שמופיעים בתמונה, וכן סגנונות מובנים שכוללים שרשראות חשיבה של המודל כדי לזהות במדויק תכונות של דמויות שונות.

התמונות עצמן אינן כלולות במאגר כדי למנוע בעיות הפצה. כדי להשתמש בהן תצטרכו להתאים את התיאורים לקבצים באמצעות מזהים כמו שם הקובץ, מזהה דנבורו או נוזומי, ולהוריד אותם עצמאית ממקורות חיצוניים כמו המאגרים של DeepGHS.

מתאים ל

• אימון מודלי מולטימודל

  שימוש בעמודות ה־JSON או בשרשראות החשיבה כדי ללמד מודלי שפה וראייה לנתח ולפרק סצנות אנימה מורכבות.

• כוונון מודלי תמונה

  חיתוך תיאורים מפורמטים קצרים או מעמודות הטקסט הרציף לצורך אימון מודלי יצירת תמונה על דמויות וסגנונות.

• תיוג מחדש של מאגרי איורים

  הצלבת מזהי דנבורו כדי לשדרג תיוגי מילים פשוטים בתיאורים עשירים שנבנו במודלי שפה מובילים.

איפה זה נופל

החיסרון המרכזי הוא היעדר התמונות בגוף המאגר, מה שמחייב פייפליין נפרד להורדה והתאמה של מיליוני קבצים. הנתונים קיימים באנגלית בלבד, ואינם כוללים תמיכה בעברית. חלק מהפורמטים מכילים קטעי מחשבה והסברים של המודלים, ואם תזינו אותם ישירות לאימון מודל דיפוזיה בלי סינון או חיתוך, אתם תפגעו באיכות התוצאות. בנוסף, קיימת הטיה מובנית של מודלי שפה בתיאור האווירה הכללית, וטווח התכנים כולל חומרים קשים ופורנוגרפיים שמחייבים סינון מקדים לפני שימוש במוצר.

איך טוענים

הנתונים מוגשים בקובץ data.parquet ונגישים להורדה ישירה דרך Hugging Face ללא צורך באישור מיוחד. עמודות המפתח לקישור התמונות הן name, danbooru_is ו־nozomi_id. בגלל שמדובר ביותר משישה מיליון רשומות, כדאי לקרוא רק את העמודות הרלוונטיות למשימה שלכם ולא לטעון את כל הפורמטים לזיכרון בבת אחת.

from datasets import load_dataset

ds = load_dataset("Minthy/Anime-Art-Multicaptions-v5.0")

הרישיון

המאגר מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא כופה שיתוף באותו רישיון ואינו מגביל שיווק של מודלים שאומנו עליו. עם זאת, הרישיון חל על הטקסטים בלבד, ולא מקנה זכויות על התמונות המקוריות שתורידו ממקורות חיצוניים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗