anime-caption-danbooru-2021-sfw-5m-hq

מה זה

הנתונים מבוססים על תת קבוצה מסוננת מתוך Danbooru 2021 שסיפק המשתמש KBlueLeaf. המאגר המקורי עבר סינון תכנים באמצעות המודל Falconsai/nsfw_image_detection, ולאחר מכן הוסרו תגיות בעלות אופי אירוטי באמצעות ML-Danbooru. התוצאה היא 1,427,124 רשומות בחלוקת אימון יחידה.

כל רשומה מייצגת תמונה אחת ומכילה ארבעה תיאורים שונים בשפה טבעית. תיאור אחד הופק ישירות באמצעות CogVLM על בסיס תגיות ויזואליות. שלושת התיאורים האחרים נשענים על llava-v1.6-34b, בשילוב תיוג מ־wd-swinv2-tagger-v3 ונתוני מקור על דמויות וסדרות ממאגר Danbooru2021-SQLite. מאחר שחלק מתיאורי LLaVA כללו התייחסות מפורשת למילים כמו tags או לקווים תחתונים, הם עברו שכתוב וניקוי באמצעות Meta-Llama-3-8B-Instruct וגרסת ה־70B, לצד גרסה מקוצרת נוספת שהוגבלה לעד 200 מילים.

מתאים ל

• אימון מודלי טקסט לתמונה

  כוונון מודלי יצירת תמונה שמסוגלים להבין הנחיות טקסטואליות עשירות במקום להסתמך רק על רשימות תגיות.

• אימון מודלי ראייה ושפה

  אימון מודלי Vision-Language לתחום האיור והאנימה על תיאורים מפורטים במיוחד באנגלית.

• מחקר על הזיות במודלים

  השוואה ובדיקת פערים בתיאורי תמונות בין מודל LLaVA לבין CogVLM על סמך תגיות רקע ידועות.

איפה זה נופל

רוב התיאורים ארוכים בהרבה מ־77 טוקנים, ולכן אינם מתאימים ישירות למודלים קלאסיים שמבוססים על ארכיטקטורת CLIP ללא התאמה. כל התיאורים נוצרו על ידי מודלי שפה וראייה ומכילים הזיות, במיוחד סביב סדרות אנימה ומנגה נידחות שהמודלים לא מכירים מספיק. בנוסף, המודלים מתקשים להבין קומיקס ונוטים לשגות במספר הפאנלים ובתוכן שלהם. הטקסט כולו באנגלית בלבד. הסינון של התמונות נעשה אוטומטית במכונה ללא עין אנושית, כך שחומרים למבוגרים עדיין עלולים להימצא בפנים.

איך טוענים

הנתונים שמורים בקובץ דחוס יחיד בשם train.jsonl.gz ואינם דורשים אישור גישה מיוחד. המאגר עצמו אינו מכיל את קובצי התמונות אלא רק את התיאורים והתגיות, ואת התמונות יש להוריד בנפרד באמצעות הכלי HakuBooru. השדות המרכזיים בכל שורה הם caption_cogvlm לתיאור של CogVLM, וכן caption_llava_34b_no_tags ו־caption_llava_34b_no_tags_short לתיאורים הנקיים והמקוצרים שהופקו בעזרת LLaVA ו־Llama 3.

from datasets import load_dataset

ds = load_dataset("CaptionEmporium/anime-caption-danbooru-2021-sfw-5m-hq")

הרישיון

המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי, אך מחייב מתן קרדיט ושיתוף של כל מאגר או יצירה נגזרת תחת אותם תנאי רישיון בדיוק. אם תאמנו מודל ישירות על הנתונים הללו, סעיף ה־ShareAlike עלול לחייב אתכם לשחרר את משקולות המודל או את הנגזרות תחת אותו רישיון פתוח.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗