clip-guided-diffusion
רץ בדפדפןEleutherAIרישיון לא דווח2022-03-02
הדגמה שמייצרת תמונות ווידאו מטקסט או מתמונת בסיס בעזרת שילוב של CLIP ומודל דיפיוז'ן. מתאים למי שרוצה להתנסות בטכניקות ג'נרוט ישנות יותר ישירות בדפדפן.
- —הורדות בחודש
- 126לייקים
מה זה
אתם מזינים תיאור טקסטואלי, ויכולים להוסיף תמונת מקור או תמונה להנחיה ויזואלית. הממשק פולט שני דברים: תמונה סופית וקובץ וידאו שמציג את שלבי היצירה. יש כאן שליטה ידנית על פרמטרים טכניים כמו סולם ההנחיה של CLIP שקובע עד כמה התוצאה תיצמד לטקסט, החלקת התוצאה, טווח ערכי הצבע ומספר החיתוכים.
מתחת למכסה המנוע הקוד מחבר בין guided-diffusion לבין המודל של CLIP מבית OpenAI, לצד שימוש בספריית lpips למדידת דמיון. הדוגמה המובנית מציגה הנחיה של עיר שונית אלמוגים שנשענת על תמונת בסיס coralreef.jpeg עם דילוג על עשרה צעדים והנחיית CLIP בעוצמה של 1000.
מתאים ל
- יצירת תמונה מטקסט
הזנת תיאור מילולי והפקת תמונה בודדת בליווי סרטון שמראה את שלבי הדיפיוז'ן.
- עיבוד תמונה קיימת
העלאת קובץ מקור ושינוי שלו לפי הנחיית טקסט ועוצמת השפעה מוגדרת מראש.
- למידת פרמטרים של דיפיוז'ן
בדיקה של השפעת משתנים כמו cutn וערכי צבע על תהליך יצירת התמונה.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה מדווחת על RUNTIME_ERROR, כך שאי אפשר להריץ אותה ישירות באתר. חוץ מזה, המודל הזה כבד ואיטי משמעותית בהשוואה למודלים מודרניים. הדוגמה אמנם כוללת קובץ תמונה מקומי בשם coralreef.jpeg, אך אם הקובץ חסר בסביבת הריצה, גם הדוגמה תקרוס מיד.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
כן, הממשק פתוח בדפדפן ללא תשלום. עם זאת, נכון לעכשיו הוא נמצא במצב תקלה ולא ניתן להריץ אותו בפועל.
כמה זמן לוקח לייצר תמונה?
החומרה שהוגדרה עבור ההדגמה היא t4-small. מעבד כזה בשילוב guided-diffusion דורש לרוב כמה דקות לכל הרצה, תלוי במספר הצעדים שבחרתם.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד מבוסס על סקריפט פייתון גלוי בשם app.py שמשתמש בספריות מוכרות כמו torch ו־clip. אם תתקינו את התלויות על מחשב עם מעבד גרפי מתאים, תוכלו להריץ אותו אצלכם.
במה הממשק הזה שונה מהרצת המודל ישירות?
הוא עוטף את המודלים של CLIP ושל guided-diffusion בממשק גרפי של Gradio. במקום לכתוב קוד או להריץ פקודות בטרמינל, מקבלים סליידרים ושדות קלט בדפדפן.
איך משתמשים
בפועל אתם ממלאים את השדות ולוחצים על כפתור ההפעלה של ממשק Gradio, או טוענים את הדוגמה המוכנה בלחיצה אחת. ההרצה מוגדרת על מעבד גרפי t4-small, אבל אין צורך לבדוק זמנים כרגע כי המופע נמצא במצב של שגיאת ריצה. כשהוא תקול ברמת השרת, שום לחיצה בדפדפן לא תניב תוצאה.
הרישיון
הרישיון לא דווח במאגר. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד או בתוצרים, ואי אפשר לדעת בוודאות מה המדיניות לגבי תמונות שאתם מעלים לממשק.