0xJustin/Dungeons-and-Diffusion

מה זה

המאגר כולל איורים של דמויות מעולם משחקי התפקידים, שמחולקים לפי גזעים ומקצועות פנטזיה מוכרים. בגרסה המקורית צוין שהיו בערך 2,500 תמונות, וכעת המאגר מכיל 1,202 קבצים בפורמט תמונה. שמות הקבצים והתיאורים מפרטים שילובים של גזע ומקצוע, למשל ברברי, דרואיד או פלאדין מגזע אראקוקרה.

מבחינת מבנה הנתונים, המפרסם יצר שתי שכבות תיוג. השכבה הראשונה היא תיוג גזע ידני על פי תבנית קבועה, והשכבה השנייה נבנתה באמצעות כתוביות שנוצרו אוטומטית על ידי מודל הראייה BLIP, שמוסיף תיאור מילולי ויזואלי לגזע הבסיסי.

ההתפלגות אינה אחידה כלל. בני אדם מובילים בפער עצום עם 652 תמונות, טיפלינג עם 285 תמונות, ואלפים עם 190, בעוד שגזעים כמו קנטאור או אראקוקרה מופיעים בעשרים עד שלושים מופעים בלבד. מקור האיורים עצמם לא מפורט בכרטיס, והיוצר לא ציין מהיכן נאספו התמונות ברשת.

מתאים ל

• אימון מודל לדמויות פנטזיה

  כוונון מודלי דיפוזיה כדי לייצר דמויות שחקן עם מאפיינים ויזואליים של משחקי תפקידים.

• בדיקת מודלי תיוג אוטומטי

  השוואה בין תיוג ידני לכתוביות שנוצרו על ידי ראייה ממוחשבת בדומיין ייעודי.

• סינון וניקוי דאטהסטים

  פרויקט תרגול של תיקון תיוגים פגומים ואיזון קטגוריות בעלות ייצוג נמוך.

איפה זה נופל

היוצר מציין בעצמו שיש סיכוי גבוה שחלק מהתמונות מתויגות באופן שגוי. חוסר האיזון בין הגזעים קיצוני, מה שיגרור הטיות חזקות לכיוון דמויות אנושיות. מעבר לזה, תיאורי הראייה האוטומטיים כוללים טעויות בולטות, כמו כפילויות של מילים בתיאור הגזע. הטקסט כולו באנגלית, אין שום נתונים בעברית, ומקור היצירות אינו ידוע, כך שאי אפשר לדעת מאילו אמנים נלקחו הציורים.

איך מריצים

טוענים את הקבצים ישירות מדף הדאטהסט בפורמט תמונות רגיל, לצד שמות הקבצים והכתוביות. אין צורך לבקש אישור גישה מיוחד כדי להוריד. הקבצים שמורים ישירות עם שמות שמייצגים את הגזע והמקצוע, ומשם אפשר לחלץ את הטקסט לאימון. כדאי לשים לב לכך שהכתוביות שמבוססות על מודל BLIP מגיעות עם ניסוחים משונים שדורשים ניקוי לפני שרצים לאמן.

pip install -U huggingface_hub
hf download 0xJustin/Dungeons-and-Diffusion

הקבצים

25 קבצים במאגר, 20.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model16000.ckpt4.3 GB
• model30000.ckpt4.3 GB
• unet/diffusion_pytorch_model.bin3.4 GB
• DnD_Classes_and_Species.ckpt2.1 GB
• D&Diffusion3.0_Protogen.ckpt2.1 GB
• D&Diffusion3.0_Protogen-fp32.safetensors2.1 GB
• unet/diffusion_pytorch_model.safetensors1.7 GB
• safety_checker/model.safetensors608.0 MB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• text_encoder/model.safetensors246.1 MB
• vae/diffusion_pytorch_model.safetensors167.3 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.9 KB
• README.md2.8 KB
• .gitattributes1.5 KB
• unet/config.json871 B
• tokenizer/tokenizer_config.json806 B
• text_encoder/config.json612 B
• vae/config.json547 B
• feature_extractor/preprocessor_config.json518 B
• tokenizer/special_tokens_map.json472 B
• model_index.json416 B
• scheduler/scheduler_config.json284 B

הרישיון

הרישיון של המאגר לא דווח. מבחינה מעשית ומשפטית, זה אומר שאין לכם שום הרשאה מפורשת להשתמש בתמונות, לא למחקר ובטח שלא למוצר מסחרי. אימון מודל על קבצים ללא רישיון חושף אתכם לתביעות זכויות יוצרים, במיוחד כשמדובר באיורי פנטזיה שנאספו ללא אישור מיוצרים מקוריים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗