Comic-Diffusion

מה זה

מדובר בכיוונון של סטייבל דיפיוז'ן שנוצר באמצעות דרימבות' בסוף שנת 2022. היוצר שלו לקח שמונה סגנונות אמנותיים של מאיירים שונים ודחס אותם לתוך מודל אחד, במטרה לאפשר יצירת עמודי קומיקס שלמים בלי שהסגנון יתפרק מפריים לפריים.

הייחוד בגרסה השנייה שלו הוא היכולת לערבב בין הטוקנים של הסגנונות השונים בתוך הפרומפט. סדר המילים ברשימה משנה את התוצאה הוויזואלית, כך שאפשר לקבל שילובים מעניינים אם משחקים עם המיקום שלהם. הגרסה הראשונה, לעומת זאת, אומנה רק על סגנון יחיד של מאייר אחד בשם ג'יימס דיילי ומגיבה לטוקן נפרד.

אין כאן מבחני ביצועים מספריים או מדידות דיוק מסודרות. הדגש הוא נטו על איכות הקו והיכולת לשחזר את האסתטיקה של האמנים ששימשו לאימון.

מתאים ל

• איור רומנים גרפיים

  מאפשר לשלב טוקנים של אמנים כדי לייצר סגנון קו ייחודי שנשאר דומה לאורך עמודים שונים.

• סטוריבורד מהיר לקולנוע

  מייצר סצנות שנראות כמו סקיצות קומיקס ידניות בלי צורך לאייר אותן לבד.

• עיצוב עטיפות וכרזות

  נותן מענה כשצריך מראה אמנותי ספציפי של ספר מתח או הרפתקאות.

איפה זה נופל

המודל ישן מאוד ולא כולל שום מנגנון עקיבה אוטומטי לדמויות. אי אפשר לקבל פאנלים עקביים של אותו גיבור בלי לעבוד קשה על פרומפטים או להשתמש בכלים חיצוניים. בנוסף, הוא נשען כולו על שמות של אמנים אמיתיים שלא קשורים לפרויקט, מה שמקשה על שימוש מסחרי נקי מדאגות זכויות יוצרים. היוצר גם לא פרסם שום מגבלות טכניות או פתרונות לכשלים באנטומיה.

איך מריצים

טוענים את המשקלים דרך ספריית diffusers הרגילה בפייתון. הקבצים שוקלים קצת יותר מתשעה גיגה בייט ומחולקים לעשרות קבצים, כך שצריך כרטיס מסך עם לפחות 8 עד 12 גיגה זיכרון כדי להריץ תמונות בגודל סביר ובמהירות טובה.

אם אתם צריכים רק כמה תמונות בודדות ולא רוצים להחזיק שרת ייעודי, עדיף להעלות אותו למופע ענן לפי דרישה או להשתמש בממשק מרוחק. אין כאן משהו מורכב מעבר לפייפליין תמונות סטנדרטי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("ogkalu/Comic-Diffusion")
img = pipe("a photo").images[0]

הקבצים

29 קבצים במאגר, 9.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• comic-diffusion.ckpt2.1 GB
• comic-diffusion-V2.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• feature_extractor/ogkalu_Comic-Diffusion · Hugging Face15.7 MB
• V2gen4.jpg1.9 MB
• V2gen3.jpg1.8 MB
• V2gen2.jpg1.8 MB
• generated1.jpg1.8 MB
• generated4.jpg1.7 MB
• V2gen1.jpg1.7 MB
• generated2.jpg1.5 MB
• generated5.jpg1.5 MB
• generated3.jpg1.4 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.8 KB
• .gitattributes2.1 KB
• README.md1.6 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json748 B
• text_encoder/config.json612 B
• vae/config.json581 B
• model_index.json546 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json313 B

הרישיון

הרישיון הוא creativeml-openrail-m. הוא מתיר שימוש מסחרי באופן עקרוני, אבל מחייב אתכם לעמוד ברשימת שימושים אסורים כמו הפצת תוכן פוגעני או מטעה, ומחייב להעביר את תנאי הרישיון הלאה אם אתם מפיצים את המשקלים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗