sd-image-variations-diffusers

מה זה

במקום לקחת טקסט ולהמיר אותו לתמונה, המודל מחליף את מקודד הטקסט של סטייבל דיפיוז'ן במקודד תמונה מסוג ויט אל 14. הוא קורא תמונה קיימת, מעביר אותה דרך מרחב השיבוץ של קליפ, ופולט תמונות חדשות ששומרות על הסגנון, הקומפוזיציה והנושא המקוריים אבל נראות אחרת לגמרי.

גרסה שתיים של המשקולות עברה אימון ארוך יותר בשני שלבים, הראשון על שכבות הקרוס אטנשן והשני על כל היונט, מול דאטה־סט של אסתטיקה גבוהה. האימון הנוסף פתר בעיות טשטוש שהיו בגרסה הראשונה ושיפר את הדמיון המדוד לתמונת המקור, מה שהופך את התוצאות לחדות ורלוונטיות יותר לקלט.

מתאים ל

• סיעור מוחות עיצובי

  יצירת סקיצות חלופיות במהירות מתוך תמונה ראשונית בלי להסתבך עם ניסוח פרומפטים ארוכים.

• יצירת נכסים למשחקים

  הפקת מגוון רחב של גרסאות לאותו חפץ או נוף בסגנון ויזואלי אחיד שנשען ישירות על המקור.

• מחקר על מודלי דיפוזיה

  בדיקת שינון נתונים והטיות במרחב הוויזואלי של קליפ מול תמונות אימון קיימות.

איפה זה נופל

המודל לא מצליח לייצר טקסט קריא ומתקשה מאוד ברינדור נכון של פנים ואנשים. בגלל האימון הממושך בגרסה שתיים, הוא סובל משינון יתר של תמונות מפורסמות מהדאטה־סט, כמו נערה עם עגיל פנינה, ומשחזר אותן כמעט במדויק במקום לייצר וריאציה חדשה. בנוסף, יש פה באג מובנה בתהליך העיבוד. בזמן האימון שכחו להשתמש באנטי אליאסינג כששינו גודל תמונה, כך שאם לא מכינים טנסור ידני עם ביקוביק וללא אנטי אליאסינג, התוצאה הסופית נפגעת ישירות.

איך מריצים

טוענים את המשקולות דרך ספריית דיפיוזרס מגרסה 0.8.0 ומעלה באמצעות הצינור הייעודי לתמונות. המשקולות שוקלות 5.8 גיגה בייט, כך שכרטיס מסך ביתי מודרני עם תמיכת קודה מספיק כדי להעלות את המודל לזיכרון ולהריץ דגימה עם סולם הנחיה של שלוש.

לפני ששולחים את התמונה למודל חובה להמיר אותה לטנסור בגודל 224 על 224 בלי מנגנון אנטי אליאסינג, אחרת הפלט ייצא מעוות. אם אין ברשותכם חומרה ייעודית עם מעבד גרפי מקומי, הרצה בשרת ענן חיצוני תחסוך את עלויות התחזוקה של הזיכרון הגרפי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lambda/sd-image-variations-diffusers")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 5.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• safety_checker/pytorch_model.bin1.2 GB
• image_encoder/pytorch_model.bin1.2 GB
• vae/diffusion_pytorch_model.bin334.7 MB
• v1-montage.jpg613.3 KB
• v2-montage.jpg570.3 KB
• alias-montage.jpg151.0 KB
• default-montage.jpg147.9 KB
• earring.jpg113.0 KB
• inputs.jpg42.6 KB
• README.md10.6 KB
• safety_checker/config.json5.0 KB
• .gitattributes1.4 KB
• unet/config.json871 B
• image_encoder/config.json703 B
• vae/config.json595 B
• model_index.json545 B
• feature_extractor/preprocessor_config.json518 B
• scheduler/scheduler_config.json308 B

הרישיון

הרישיון הוא אופן רייל אם. מותר להשתמש בו לצרכים מחקריים ומסחריים, אך חל איסור מוחלט על הפקת תכנים פוגעניים, אלימות קיצונית, התחזות או הפרת זכויות יוצרים. החובה להטמיע את מנגנון בדיקת הבטיחות ולצרף את תנאי הרישיון חלה על כל מי שמפיץ את המודל או מוצר שמבוסס עליו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗