archer-diffusion

מה זה

מדובר במודל תמונה שמבוסס על סטייבל דיפיוז'ן ועבר אימון ייעודי על צילומי מסך מתוך הסדרה ארצ'ר. הוא נועד לקחת טקסט ולהוציא דיוקנאות, חיות, נופים או דמויות מוכרות כשהם עטופים בקווי המתאר השחורים והצללות המשטח המזוהות עם התוכנית.

האימון נעשה בשיטת דרימבות' עם שימור ידע קודם לאורך ארבעת אלפים צעדים, תוך אימון של מקודד הטקסט עצמו. כדי לקבל את המראה הרצוי צריך להוסיף לפרומפט את הביטוי archer style, אחרת המודל יתנהג קרוב יותר למודל הבסיס שממנו הוא נוצר.

הייחוד כאן הוא בעיקר החיסכון בעבודה. במקום להיאבק עם מודל כללי ופרומפטים מסורבלים בתקווה לקבל איור וקטורי מרוכך, מקבלים משקלים שנעולים מראש על סגנון אחיד וספציפי שמתאים לסצנות קומיקס או אנימציה מערבית.

מתאים ל

• איור דמויות משחק

  יצירת אווטארים ודיוקנאות בסגנון קומיקס אמריקאי מהיר.

• לוחות השראה לאנימציה

  הפקת סצנות נוף ודמויות לבדיקת כיוון אמנותי מוקדם.

• עיצוב כרזות וגרפיקה

  הפיכת רעיונות טקסטואליים לאיורים גרפיים בעלי קו מתאר בולט.

איפה זה נופל

המודל נעול חזק מאוד על האסתטיקה של הסדרה, מה שאומר שקשה לקבל ממנו גיוון סגנוני אמיתי. כל מה שיוצא ממנו נראה כמו פריים מתוכנית טלוויזיה מצוירת. בנוסף, הוא סוחב איתו את כל המגבלות של הגרסאות המוקדמות של סטייבל דיפיוז'ן בכל הקשור לאנטומיה מורכבת של ידיים, טקסט בתוך תמונה והבנת יחסים מורכבים בתיאור הסצנה. אם לא מכניסים פרומפט שלילי מתאים, נוטים להופיע עיוותים ברקע ובפרטים הקטנים.

איך מריצים

כדי להריץ אותו מקומית טוענים את הצינור הרגיל של דיפיוזרס בפייתון ומעבירים אותו לעיבוד בפורמט חצי דיוק. שבעה גיגהבייט של קבצים דורשים כרטיס מסך מודרני עם זיכרון ייעודי סביר, לפחות שמונה גיגהבייט לביצועים שוטפים, אם כי אפשר להמיר אותו גם לפורמטים כמו אונקס או ג'קס.

ההגדרות המומלצות מהיוצר עובדות עם דוגם אוילר איי בעשרים צעדים ודירוג הנחיה של שבע. גודל התמונה נע בין חמש מאות ושנים עשר לשבע מאות וארבע או רחב יותר, תלוי אם מייצרים פורטרט או נוף.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("nitrosocke/archer-diffusion")
img = pipe("a photo").images[0]

הקבצים

23 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• archer-v1.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• archer-diffusion-dataset.png3.6 MB
• archer-diffusion-samples4s.png3.3 MB
• archer-diffusion-samples3.png1.8 MB
• archer-diffusion-samples.png1.3 MB
• archer-diffusion-samples2.png1.2 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.8 KB
• README.md3.4 KB
• .gitattributes1.8 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json612 B
• vae/config.json576 B
• model_index.json541 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json308 B

הרישיון

הרישיון הוא קריאייטיב אם אל אופן רייל אם. מותר להשתמש במודל לצרכים מסחריים ולהפיץ אותו הלאה, אבל חובה לצרף את תנאי הרישיון המקוריים ואת מגבלות השימוש שאוסרות יצירת תוכן מזיק או בלתי חוקי. היוצר לא דורש זכויות על התוצרים שיוצאים ממנו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗