vintedois-diffusion-v0-1

מה זה

המודל הזה אומן על ידי שני מפתחים עצמאיים על גבי תמונות באיכות גבוהה לצד פרומפטים קצרים ופשוטים. הרעיון כאן הוא לחסוך את הצורך במגילות של מילות מפתח כדי להוציא תמונה שנראית טוב, ואפשר להפעיל את הסגנון הייחודי שלו ישירות באמצעות המילה estilovintedois בתחילת ההנחיה.

בנוסף ליצירה ישירה, המפתחים כיוונו אותו במיוחד לאימוני Dreambooth, כך שהוא מסוגל לייצר פנים בדיוק גבוה במספר קטן יחסית של צעדים. אין כאן מדידות ביצועים מספריות או בנצ'מרקים רשמיים, אלא כוונון שמבוסס על הארכיטקטורה המוכרת של גרסה 1.5, כשהמטרה היא אסתטיקה ישירה ונוחות עבודה עם פרומפטים קצרים.

מתאים ל

• אימון Dreambooth לפנים

  הארכיטקטורה הותאמה במיוחד לקליטת פנים בדיוק גבוה ובמעט צעדים, מה שמקצר את זמן האימון.

• יצירה מפרומפטים קצרים

  מתאים למי שלא רוצה להעמיס תגיות איכות, תאורה וסגנון, ומעדיף תיאור ישיר של שניים שלושה מושגים.

• עבודה בסגנון vintedois

  שימוש במילת המפתח הייעודית estilovintedois מאפשר לקבל שפה חזותית אחידה לכל הפרויקט.

איפה זה נופל

המודל נבנה על ידי שני מפתחים ולא עבר בדיקות מקיפות להטיות חדשות מעבר לאלו שכבר קיימות במודל הבסיס Stable Diffusion v1-5. כל הבעיות המוכרות של פלטפורמת הבסיס נמצאות גם כאן, החל מעיוותים באנטומיה ועד ייצוגים מוטים. לפני שמשלבים אותו במערכת אמיתית צריך לבדוק היטב איך הוא מגיב לקלטים מגוונים, במיוחד כשלא משתמשים במילת הסגנון הייעודית שלו.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־9.1 גיגה בייט, והוא רץ דרך ספריית diffusers בפייתון עם סקדולר כמו EulerAncestralDiscreteScheduler. תצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגה בייט זיכרון כדי להריץ או לאמן אותו בצורה סבירה, ואפשר לבדוק אותו בממשק Gradio או במחברת Colab ייעודית שהמפתחים שיתפו.

אם יש לכם כרטיס מקומי חזק מספיק, ההרצה פשוטה מאוד. אם מדובר בשימוש קל או חד פעמי, עדיף להריץ אותו דרך ספייס ב־Hugging Face או בסביבת ענן מנוהלת במקום להוריד 9 גיגה בייט של קבצים למחשב.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("22h/vintedois-diffusion-v0-1")
img = pipe("a photo").images[0]

הקבצים

25 קבצים במאגר, 9.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.ckpt4.3 GB
• unet/diffusion_pytorch_model.bin3.4 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• joined.png9.2 MB
• tokenizer/vocab.json1.1 MB
• 44-euler-a-kneeling cat knight, portrait, finely detailed armor, intricate design, silver, silk, cinematic lighting, 4k.png611.4 KB
• 44-euler-a-destroyed city.png600.0 KB
• 44-euler-a-prehistoric native living room.png582.9 KB
• 44-euler-a-photo of an old man in a jungle, looking at the camera.png573.3 KB
• 44-euler-a-victorian city landscape.png551.8 KB
• tokenizer/merges.txt524.6 KB
• 44-euler-a-a beautiful girl In front of the cabin, the country, by Artgerm Lau and Krenz Cushart，hyperdetailed, trending on artstation, tre.png471.2 KB
• safety_checker/config.json5.0 KB
• README.md4.0 KB
• .gitattributes1.6 KB
• unet/config.json1.2 KB
• tokenizer/tokenizer_config.json912 B
• text_encoder/config.json721 B
• vae/config.json596 B
• model_index.json576 B
• feature_extractor/preprocessor_config.json518 B
• tokenizer/special_tokens_map.json472 B
• scheduler/scheduler_config.json341 B

הרישיון

הרישיון הוא creativeml-openrail-m, שזהה לרישיון המקורי של גרסה 1.5. הוא מאפשר שימוש מסחרי חופשי, אבל כולל הגבלות שימוש שאוסרות ניצול לרעה, פגיעה באנשים או הפצת תוכן לא חוקי. המפתחים מצהירים שהם לא נושאים באחריות על מה שתעשו איתו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗