trinart_stable_diffusion_v2

מה זה

המודל הזה מבוסס על סטייבל דיפיוז'ן המקורי ועבר אימון נוסף על כארבעים אלף תמונות אנימה ומנגה ברזולוציה גבוהה לאורך שמונה אפוקים. המטרה של הפרויקט, שהתחיל בכלל כבוט טוויטר, היא לתת דחיפה לסגנון יפני מצויר בלי להרוס את היכולת לייצר סצנות מורכבות שהגיעו עם המודל הרחב.

בגרסה השנייה הוסיפו עוד עשרת אלפים תמונות, שילבו דרופאוט ושיפרו את שיטת התיוג. זה לא מודל הדמויות המלא של אותה קבוצה, אלא כוונון עדין שמנסה לאזן בין הריאליזם והקומפוזיציה של המקור לבין איורי מנגה נקיים.

מתאים ל

• איורי קונספט בסגנון מנגה

  משלב סגנון יפני קלאסי עם הבנת סצנות רחבות מטקסט חופשי.

• המרת תמונות לאנימה

  מאפשר לקחת צילום קיים ולעבד אותו מחדש כאיור באמצעות img2img.

• שילוב בבוטים ואפליקציות

  רץ ישירות מעל diffusers ומתאים לתשתיות קיימות של סטייבל דיפיוז'ן.

איפה זה נופל

אם אתם מחפשים מודל שיודע לייצר רק דמויות אנימה ספציפיות ברמת דיוק מוחלטת, זה לא הכלי. המפתח מציין מפורשות שזה אינו מודל הדמויות הגדול שלהם שמכיל מעל תשעה עשר מיליון תמונות. בנוסף, מי שמריץ סקריפטים ישנים של latent-diffusion מסוג ddim על תמונה לתמונה חייב לכבות ידנית את use_ema, אחרת הריצה תיכשל.

אותה משפחה

trinart-stable-diffusion יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם טוענים את המשקלים דרך ספריית diffusers ישירות לקוד פייתון עם כרטיס מסך תומך קודה. סך הקבצים שוקל כמעט 11.1 גיגה בייט, כך שצריך כרטיס מסך סביר עם מספיק זיכרון כדי להריץ את הצינור המלא מקומית, או להשתמש במחברת גוגל קולאב עם ממשק גרדיו.

הריפו מציע שלוש נקודות שמירה לפי כמות צעדי האימון, משישים אלף ועד מאה וחמישה עשר אלף צעדים. ככל שבוחרים גרסה עם יותר צעדים סגנון האנימה מודגש יותר, ואם התוצאה מרגישה לכם מוגזמת אפשר פשוט לחזור לגרסת שישים האלף.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("naclbit/trinart_stable_diffusion_v2")
img = pipe("a photo").images[0]

הקבצים

20 קבצים במאגר, 11.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• trinart2_step115000.ckpt2.1 GB
• trinart2_step95000.ckpt2.1 GB
• trinart2_step60000.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md5.3 KB
• safety_checker/config.json4.8 KB
• .gitattributes1.6 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json612 B
• vae/config.json576 B
• model_index.json541 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json308 B

הרישיון

הרישיון כאן הוא CreativeML OpenRAIL-M. הוא מאפשר שימוש מסחרי ומחייב אתכם לצרף את תנאי הרישיון לכל הפצה, אבל כולל הגבלות שימוש ברורות נגד יצירת תוכן פוגעני, מידע כוזב או הפרת חוק. אתם אחראים לכל פלט שיוצא ממנו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗