wikiart-diffusion-mini

מה זה

אתם מזינים תיאור טקסטואלי, מעלים תמונת מקור להנחיה, או משלבים בין השניים. הפלט הוא תמונה בודדת שמנסה לחקות ציור מסורתי. הממשק מציג דוגמאות מוכנות מראש כמו קרחון בצבעי שמן, נוף מאדים בסגנון מונה, אחו בגירי פסטל, אגרטל פרחים וספינה שיוצאת מנמל בקיץ.

מאחורי הקלעים רץ מודל דיפוזיה מזוקק בשם distill-ccld-wa יחד עם אוטואנקודר מהמאגר ccld_wa. שניהם עברו אימון על בסיס הנתונים של WikiArt, שמכיל בעיקר ציורים וסגנונות של תולדות האמנות. המערכת מחברת בין טקסט לתמונה בעזרת מודלי CLIP ורכיבי אימון של CLOOB.

מתאים ל

• הפקת ציורים מטקסט

  כתיבת תיאור כמו נוף בגירי פסטל או שמן כדי לקבל תמונה בסגנון ציירים קלאסיים.

• הנחיית יצירה מתמונה

  העלאת קובץ תמונה שמשמש בסיס ויזואלי ישיר לסגנון הציור שהמודל מייצר.

• בדיקת זיקוק מודלים

  בחינת האופן שבו מודל סטודנט מזוקק מנסה לייצר תמונות אמנות על מעבד רגיל.

איפה זה נופל

הבעיה הגדולה ביותר כרגע היא שהאפליקציה פשוט לא עובדת ומחזירה שגיאת ריצה. מעבר לזה, המודל אומן על WikiArt בלבד, ולכן הוא לא יתמודד היטב עם סגנונות מודרניים, צילום ריאליסטי או גרפיקה וקטורית. הגדרות חשובות כמו מספר הצעדים וסיד אקראי מנוטרלות בקוד המקורי, מה שמשאיר אפס שליטה על אופי התוצאה.

איך משתמשים

בממשק יש שדה טקסט ותיבה להעלאת קובץ תמונה, ומשם לוחצים על כפתור השליחה כדי להתחיל רינדור. ההדגמה יושבת על מעבד בסיסי בלבד, מה שמבטיח ריצה אטית למדי ביחס למעבדים גרפיים, אך כרגע היא בכלל מוגדרת במצב של שגיאת ריצה ולכן לא תגיב בדפדפן.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי כולל התאמות מסחריות והפצה מחדש. לגבי התמונות שנוצרות, הרישיון חל על הקוד עצמו, אך יש לזכור שהמודל אומן על יצירות מתוך WikiArt שמכילות זכויות יוצרים מגוונות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗