trinart_characters_19.2m_stable_diffusion_v1

מה זה

מדובר במודל שמבוסס על Stable Diffusion v1, שעבר אימון על כ־19.2 מיליון תמונות אנימה ומנגה כולל אוגמנטציות, יחד עם כוונון סופי על 50,000 תמונות נוספות. המטרה של היוצרים היתה למצוא איזון בין מגוון סגנונות אמנותיים לבין שמירה על אנטומיה תקינה של דמויות, תחום שבו מודלים כלליים נוטים להסתבך.

המודל רץ במקור כחלק משירות בשם TrinArt ובאתר AI Novelist מספטמבר עד אוקטובר 2022. הוא מגיע עם נקודת ביקורת נפרדת עבור autoencoder מותאם מסוג KL, שלפי המפתחים שיפר את התוצאות לעומת אימון משותף, אך דורש דריסה ידנית של המשקלים אם לא משתמשים בממשק שתומך בזה מראש.

מתאים ל

• איור דמויות בסגנון מנגה

  אומן על מיליוני תמונות מהתחום ומאפשר שליטה בסגנונות תקופתיים שונים.

• יצירת תמונות נקיות מפורנו

  מאגר האימון סונן מתכנים בוטים, מה שמקטין סיכון לפליטת עירום לא רצוי.

• עבודה עם VAE מותאם

  המודל מגיע עם משקלי אוטואנקודר נפרדים שמחדדים את התוצאה הסופית.

איפה זה נופל

היוצרים כבר שחררו גרסה חדשה יותר בשם Derrida, כך שהגרסה הזו אינה העדכנית ביותר של הפרויקט. התמונות בדוגמאות נוצרו עם מנגנוני שדרוג רזולוציה ועיבוד ייחודיים של השירות שלהם, ולכן בהרצה נקייה אצלכם התוצאות עשויות להיות שונות. בנוסף, כדי לקבל אנטומיה יציבה תצטרכו להזין פרומפטים שליליים ספציפיים כמו ידיים שבורות או אצבעות חסרות, והמודל עדיין עלול לפלוט תכנים בעייתיים תחת ניסיונות עקיפה עקשניים.

איך מריצים

המשקל הכולל של הקבצים עומד על 7.5 גיגה-בייט בספריית diffusers. כדי להריץ אותו מקומית דרוש כרטיס מסך שמסוגל להתמודד עם SD v1, בדרך כלל לפחות שמונה גיגה זיכרון וידאו. האימון עצמו נעשה על שמונה כרטיסי אנבידיה A100 של 40 גיגה, אבל להסקה תסתפקו בחומרה ביתית סבירה.

מי שמשתמש בממשק כמו WebUI יוכל לטעון את ה־VAE הנפרד ישירות מההגדרות. בקוד פייתון רגיל עם הסקריפט המקורי של סטייבל דיפיוז'ן תצטרכו לדרוס ידנית את המילון של first_stage_model כדי שהתוצאה תיראה כמו שצריך ולא מטושטשת.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("naclbit/trinart_characters_19.2m_stable_diffusion_v1")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 7.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• trinart_characters_it4_v1.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• autoencoder_fix_kl-f8-trinart_characters.ckpt404.7 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md5.7 KB
• safety_checker/config.json4.9 KB
• .gitattributes1.6 KB
• unet/config.json1.0 KB
• tokenizer/tokenizer_config.json806 B
• text_encoder/config.json617 B
• model_index.json582 B
• vae/config.json582 B
• feature_extractor/preprocessor_config.json520 B
• tokenizer/special_tokens_map.json472 B
• scheduler/scheduler_config.json346 B

הרישיון

הרישיון הוא CreativeML OpenRAIL-M. מותר להשתמש בו לצרכים מסחריים ומותר להפיץ תוצרים או מודלים נגזרים, כל עוד שומרים על אותן הגבלות רישיון ולא משתמשים בו לרשימת שימושים אסורה ומזיקה שמוגדרת ברישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗