wd-1-5-beta3
קוד פתוחwaifu-diffusionother2023-05-14
מודל תמונה שמייצר איורי אנימה ומגיע בחמש גרסאות סגנוניות שונות. הוא מיועד למי שרוצה בסיס לאימון עצמי או סגנון אמנותי ספציפי כבר מהקופסה.
- 866Mפרמטרים
- 26.4 GBמשקל הקבצים
- 844הורדות בחודש
- 137לייקים
מה זה
מדובר במודל שמתמקד ביצירת תמונות אנימה מטקסט, עם כ־866 מיליון פרמטרים. החבילה הזו כוללת חמש גרסאות שונות של המודל: גרסת Base וארבע גרסאות סגנון שנקראות Radiance, Ink, Mofu ו־Illusion. כל גרסה אסתטית מושכת את התוצאות לכיוון ויזואלי אחר, כך שאפשר לבחור ישירות בסגנון המתאים ביותר במקום להילחם עם פרומפטים מורכבים.
גרסת ה־Base מיועדת אך ורק לאימון ולא כדאי לנסות לייצר איתה תמונות באופן ישיר. המפתחים ממליצים להשתמש בה כדי לאמן עליה LoRA או לבצע finetune מותאם אישית, ובשביל יצירה ישירה לפנות לארבע הגרסאות האחרות. הוא מתבסס על ספריית diffusers ומשתמש באותו רכיב VAE של גרסה 1.4 הקודמת, מה ששומר על אחידות טכנית למי שכבר עבד עם המערכת הזו בעבר.
מתאים ל
- אימון מודלים ורכיבי LoRA
גרסת ה־Base מיועדת במפורש לשמש בסיס יציב לאימונים מותאמים אישית של דמויות וסגנונות.
- הפקת איורי אנימה ישירה
גרסאות האסתטיקה כמו Radiance או Ink מאפשרות ליצור אמנות אנימה בלי לכוונן מודל מאפס.
- בדיקת סגנונות ויזואליים
ארבע הגרסאות השונות נותנות מגוון סגנונות מוגדרים מראש לאותו קו עיצובי.
איפה זה נופל
היוצרים מציינים במפורש שגרסת ה־Base לא טובה ליצירה ישירה, ואם תנסו להפיק ממנה תמונות בלי אימון מקדים תקבלו כנראה תוצאות מאכזבות. בנוסף, חלוקת המשקלים לחמש גרסאות שונות דורשת לבדוק מראש איזו גרסה אסתטית מתאימה לתוצאה שאתם מחפשים לפני שאתם משלבים אותה בתהליך העבודה.
שאלות
נפוצות
האם אפשר להשתמש בגרסת ה־Base ישר מהקופסה ליצירת תמונות?
לא מומלץ בכלל. היוצרים מציינים שהיא מיועדת רק לאימון, ועבור יצירה רגילה עדיף לבחור באחת מגרסאות האסתטיקה כמו Radiance או Mofu.
האם צריך להוריד את כל 26 הג'יגה-בייט כדי להתחיל לעבוד?
לא. המשקל הכולל כולל את כל חמש הגרסאות יחד. מספיק להוריד רק את קובצי המודל של הגרסה שבה אתם רוצים להשתמש.
איך מריצים
המשקל הכולל של הקבצים מגיע ל־26.4 ג'יגה-בייט שמחולקים בין 28 קבצים, בעיקר בגלל שכל הגרסאות יושבות באותו מקום. כדי להריץ אותו דרך diffusers צריך כרטיס מסך מודרני עם מספיק זיכרון וידאו בשביל מודל של כ־866 מיליון פרמטרים, אבל אין צורך לטעון את כל הגרסאות בבת אחת לזיכרון.
אם אתם רק רוצים לייצר תמונות בודדות ולא מתכוונים לאמן מודלים בעצמכם, עדיף להוריד רק את משקלי הסגנון הספציפי שמעניין אתכם ולא את כל התיקייה הענקית.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("waifu-diffusion/wd-1-5-beta3")
img = pipe("a photo").images[0]הקבצים
28 קבצים במאגר, 26.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- unet/diffusion_pytorch_model.bin3.5 GB
- unet/diffusion_pytorch_model.safetensors3.5 GB
- wd-beta3-base-fp16.safetensors2.6 GB
- wd-illusion-fp16.safetensors2.6 GB
- wd-ink-fp16.safetensors2.6 GB
- wd-mofu-fp16.safetensors2.6 GB
- wd-radiance-fp16.safetensors2.6 GB
- unet/diffusion_pytorch_model.fp16.bin1.7 GB
- unet/diffusion_pytorch_model.fp16.safetensors1.7 GB
- text_encoder/pytorch_model.bin1.4 GB
- text_encoder/model.safetensors1.4 GB
- text_encoder/pytorch_model.fp16.bin680.9 MB
- text_encoder/model.fp16.safetensors680.8 MB
- vae/diffusion_pytorch_model.bin334.7 MB
- vae/diffusion_pytorch_model.safetensors334.6 MB
- vae/diffusion_pytorch_model.fp16.bin167.4 MB
- vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
- tokenizer/vocab.json1.1 MB
- tokenizer/merges.txt524.6 KB
- unet/config.json1.6 KB
- .gitattributes1.5 KB
- README.md1.1 KB
- tokenizer/tokenizer_config.json737 B
- scheduler/scheduler_config.json730 B
- text_encoder/config.json608 B
- vae/config.json582 B
- model_index.json531 B
- tokenizer/special_tokens_map.json460 B
הרישיון
הפרויקט משוחרר תחת רישיון Fair AI Public License 1.0-SD. זהו רישיון שיתופי שמחייב אתכם לשתף שינויים ופיתוחים שאתם מבצעים על גבי המודל, כך שאם אתם מתכננים ליצור מודל נגזר או אימון המשך בתוך מוצר סגור, התנאי הזה מגביל אתכם.