waifu-diffusion

קוד פתוח

hakureicreativeml-openrail-m2022-08-30

diffusers
safetensors
stable-diffusion
text-to-image
en

מודל תמונה שמבוסס על סטייבל דיפיוז'ן ועבר כוונון ייעודי לאיורי אנימה. מתאים למי שצריך סגנון יפני מובהק ישר מהפרומפט, בלי תוספות חיצוניות.

866Mפרמטרים
17.8 GBמשקל הקבצים
1,020הורדות בחודש
2,497לייקים

מה זה

מדובר במודל דיפיוז'ן של 866 מיליון פרמטרים שנוצר במקור על בסיס העבודות של Stability AI ו־Novel AI. המפתחים לקחו את הבסיס ואימנו אותו מחדש על מאגר תמונות אנימה באיכות גבוהה, כך שהוא מבין תגיות ספציפיות שמאפיינות את הז'אנר הזה הרבה יותר טוב ממודל כללי.

במקום לתאר סצנה במשפטים מורכבים ולקוות שהתוצאה תיראה מצוירת, הוא מגיב ישירות לתגיות מופרדות בפסיקים כמו תיאורי שיער, בגדים, זוויות מבט ורקעים פשוטים. הייעוד העיקרי שלו לפי היוצרים הוא בידור ועזרה ביצירת אמנות חזותית בסגנון הזה.

מתאים ל

יצירת דמויות אנימה
המודל כוונן ספציפית על איורים יפניים ומבין מונחים כמו צבע שיער, ביגוד ומבט בלי לערבב סגנונות אחרים.
איורי רקע וקונספט למשחקים
מתאים לשלבי פיתוח מוקדמים של משחקים או רומנים חזותיים שצריכים שפה גרפית עקבית של אנימה.
בדיקות מהירות בקולאב
קיומה של מחברת מוכנה מאפשר לבדוק פרומפטים ישירות בענן בלי להתקין 18 גיגה של קבצים מקומית.

איפה זה נופל

המודל מוגבל לשפה האנגלית בלבד, ופרומפטים בעברית לא יעבדו כאן. מעבר לזה, הוא עבר אופטימיזציה צרה מאוד לאנימה, כך שאם אתם מחפשים תמונות ריאליסטיות, סגנונות מערביים או ייצוג מדויק של חפצים מורכבים, הוא לא יספק את הסחורה. כרטיס המודל לא מציג מדידות איכות מספריות, לכן אי אפשר לדעת מראש מה אחוז העיוותים באנטומיה ובפרטים קטנים בלי לבדוק בפועל.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

לא. המודל אומן ותומך רשמית באנגלית בלבד. פרומפטים בעברית יפיקו תוצאות שבורות או לא קשורות, וחובה לכתוב את התיאורים באנגלית, עדיף כתגיות מופרדות בפסיקים.

האם מותר למכור תמונות שיצרתי איתו?

כן, הרישיון מאפשר שימוש מסחרי מלא בתוצרים והיוצרים לא דורשים עליהם זכויות. התנאי היחיד הוא שהשימוש לא מפר את הגבלות הבטיחות והחוק שמופיעות בנוסח הרישיון.

למה הקבצים שוקלים כמעט 18 גיגה בייט?

המאגר כולל עשרים ותשעה קבצים בפורמטים ומשקלים שונים של אימון והרצה. בפועל, כשמריצים מודל בצינור של diffusers בזיכרון של כרטיס המסך, משתמשים רק בחלק מהקבצים הללו ולא בכולם בו זמנית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־17.8 גיגה בייט ומריצים אותו בפייתון באמצעות ספריית diffusers עם הצינור הרגיל של סטייבל דיפיוז'ן. הוא דורש מעבד גרפי של אנבידיה עם תמיכה ב־CUDA, וכדי להריץ אותו בנוחות תצטרכו כרטיס עם מספיק זיכרון וידאו שיחזיק את המודל בזמן העיבוד.

המפתחים מעמידים גם מחברת קולאב והדגמה בממשק Gradio למי שלא רוצה להוריד את המשקלים למחשב. אם אתם רק בודקים רעיונות או צריכים יצירה מזדמנת, הרצה בענן תחסוך לכם את ההורדה הכבדה וההתעסקות עם דרייברים מקומיים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("hakurei/waifu-diffusion")
img = pipe("a photo").images[0]

הקבצים

29 קבצים במאגר, 17.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CreativeML OpenRAIL-M, שמתיר שימוש מסחרי והפצה של המשקלים או של שירות שמבוסס עליהם. עם זאת, חובה לצרף את תנאי הרישיון המקוריים למשתמשי הקצה ולאסור יצירת תכנים לא חוקיים או פוגעניים. היוצרים לא דורשים זכויות על התמונות שנוצרות, והאחריות המשפטית המלאה על התוצרים היא עליכם.

שימוש מסחרי
שינוי הקוד
מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗