animagine-xl-2.0

מה זה

מדובר במודל דיפוזיה מסוג text-to-image שעבר כוונון ישירות מ־SDXL 1.0 על בסיס נתונים של אנימה. תהליך האימון חולק לשני שלבים, יישור מושגים על 170 אלף תמונות ולאחר מכן כוונון אסתטי על 83 אלף תמונות סינתטיות. המערך הזה נבנה כדי להכיר סגנונות ודמויות ספציפיות שלא קיימים ברמת פירוט כזו במודל הבסיס.

השליטה בתוצאות נשענת על מנגנון תגיות איכות ודירוג שהוטמע ישירות באימון. במקום להסתמך רק על טקסט חופשי, הוספת תגים כמו masterpiece מקפיצה את הפירוט הוויזואלי, בעוד שתגי דירוג מנווטים בין תוכן בטוח ל־nsfw. ביחס לגרסה הראשונה, שתוקנה בה בעיית אנטומיה קשה בצוואר בתנוחות מבט לאחור, הדמויות כאן מביטות ישר אל הצופה בצורה יציבה בהרבה.

מתאים ל

• איור דמויות אנימה קונספטואליות

  הוא אומן על מאות אלפי תמונות ייעודיות וקולט שמות של דמויות בדיוניות ותלבושות יפניות בדיוק גבוה.

• הפקת רקעים ביחסי מסך רחבים

  הוא כולל תמיכה מובנית במידות מגוונות כמו 1536x640 או 1216x832 בלי לעוות את יחסי הגוף.

• הלבשת מתאמי LoRA לסגנונות

  יש עבורו מתאמים רשמיים כמו סגנון סקיצה או פסטל שמתלבשים על המודל בקלות דרך diffusers.

איפה זה נופל

הבעיה המרכזית היא התלות המוחלטת בפורמט הפרומפט. הוא מבין שפה טבעית באנגלית, אבל בלי שרשרת של תגי Danbooru ורשימה ארוכה של מילות שלילה נגד פגמים באנטומיה וידיים שבורות, התוצאות יוצאות ירודות ולא עקביות. בנוסף, הכרטיס מודה שהדמויות נוטות להביט ישירות אל הצופה כברירת מחדל, מה שמקשה לייצר זוויות צילום מורכבות יותר. אין כאן שום תמיכה בשפות אחרות מלבד אנגלית.

איך מריצים

המודל שוקל 25.8 גיגה־בייט הפרוסים על פני 25 קבצים, מה שאומר שאתם חייבים כרטיס מסך מודרני כדי לעבוד איתו מקומית. אימון המודל נעשה ב־fp16 על כרטיס A100 עם 80GB, ובשביל הסקה עצמאית דרך ספריית diffusers בפייתון תצטרכו בפועל מעבד גרפי עם מספיק זיכרון כדי להחזיק משקלי SDXL בלי לקרוס באמצע יצירת התמונה.

אם אתם רק בודקים את היכולות או מפתחים סביב שרתים קטנים, הקוד הפתוח זמין להרצה בחינם ב־Google Colab וב־Hugging Face Spaces דרך ממשק Gradio. להפקה סדרתית או מוצר עם תעבורה, עדיף להרים שרת ייעודי בענן או להשתמש ב־API מרוחק כדי לא להחזיק תשתית חומרה כבדה ויקרה בבית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Linaqruf/animagine-xl-2.0")
img = pipe("a photo").images[0]

הקבצים

25 קבצים במאגר, 25.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.safetensors10.3 GB
• animagine-xl-2.0.safetensors6.9 GB
• unet/diffusion_pytorch_model.fp16.safetensors5.1 GB
• text_encoder_2/model.safetensors2.8 GB
• text_encoder_2/model.fp16.safetensors1.4 GB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• text_encoder/model.fp16.safetensors246.1 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• tokenizer/vocab.json1.1 MB
• tokenizer_2/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• tokenizer_2/merges.txt524.6 KB
• README.md27.7 KB
• unet/config.json1.8 KB
• .gitattributes1.5 KB
• tokenizer_2/tokenizer_config.json855 B
• tokenizer/tokenizer_config.json704 B
• vae/config.json654 B
• model_index.json586 B
• tokenizer/special_tokens_map.json586 B
• text_encoder_2/config.json570 B
• text_encoder/config.json560 B
• tokenizer_2/special_tokens_map.json460 B
• scheduler/scheduler_config.json453 B

הרישיון

הרישיון הוא CreativeML Open RAIL++-M, אותו רישיון שמלווה את סדרת Stable Diffusion. מותר להשתמש בו לצרכים מסחריים ולהפיץ תוצרים, אך חלות הגבלות שימוש מחמירות על תחומים מסוימים כמו פגיעה באנשים, הטעיה, או הפקת תוכן בלתי חוקי, ויש חובה לצרף את תנאי הרישיון בכל הפצה של המודל או נגזרותיו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗