Diffusion-Cocktail
רץ בדפדפןMAPS-researchרישיון לא דווח2023-12-13
הכלי מאפשר לקחת תמונה קיימת, לפרק אותה ולהרכיב אותה מחדש בסגנון אחר בעזרת מודלי תמונה שונים ורכיבי לורה. הוא מיועד למי שרוצה לשנות סגנון של תמונה או לחקור שילובים בלי להתקין סביבה מקומית.
- —הורדות בחודש
- 55לייקים
מה זה
אתם מעלים תמונת מקור ומקבלים גרסה ערוכה שלה. הממשק כולל תיבת טקסט לתיאור התוצאה הרצויה, עם אפשרות לחלץ תיאור אוטומטי מהתמונה המקורית באמצעות מפענח של קליפ. בנוסף, בוחרים מודל בסיס שמשמש לקריאת התמונה המקורית ומודל יעד ליצירת התמונה החדשה. בין האפשרויות בקוד נמצאים ארבעה מודלים שונים, כולל גרסה בסיסית של סטייבל דיפיוז'ן 1.5, מודל ריאליסטי, מודל אנימה ומודל כאוס של צוות המחקר.
מתחת למכסה המנוע רץ תהליך שמשלב אינוורסיה ודגימה מחדש, שמבוסס על פרויקט מחקרי בשם דיטייל. אפשר לבחור תוספת לורה מתוך גלריה מובנית כדי להכתיב סגנון ספציפי, ויש דוגמה מובנית בממשק שמציגה כוס קוקטייל עם פלח ליים שהומרה לסגנון אימפרסיוניסטי.
מתאים ל
- החלפת סגנון לתמונה קיימת
מעלים תמונה ומשנים את הסגנון הכללי שלה לסגנון ציור או אנימה באמצעות בחירת מודל יעד ולורה מתאימה.
- חילוץ תיאור טקסטואלי מתמונה
משתמשים ברכיב קליפ המובנה כדי לקבל באופן אוטומטי הנחיית טקסט שמתארת את תוכן הקובץ שהועלה.
- בדיקת שילוב בין מודלים
מגדירים מודל אחד לקריאת התמונה ומודל אחר ליצירתה כדי לבחון איך ארכיטקטורות שונות מפרשות את אותה סצנה.
איפה זה נופל
הבעיה המרכזית היא חומרת השרת. ריצת צינור של דיפיוז'ן ואינוורסיה על מעבד פשוט ללא כרטיס מסך היא חוויה איטית מאוד, ואם השרת נרדם צריך להמתין לעלייה מחדש. בנוסף, חילוץ הנחיה אוטומטי באמצעות קליפ עלול לפרש לא נכון פרטים בתמונה המקורית ולהכניס שגיאות לתוצאה הסופית. הממשק לא כולל מודלי יצירה מודרניים יותר מגרסאות המבוססות על 1.5, כך שאיכות הפירוט מוגבלת לתקופה שבה המודלים האלה נבנו.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה להדגמה בדפדפן היא בחינם ואינה דורשת תשלום. עם זאת, בגלל שהשרת מוגדר על חומרה בסיסית, מי שירצה ביצועים מעשיים יצטרך לשכפל את המרחב לחשבון שלו ולשלם על חומרה עם מאיץ גרפי.
האם אפשר להריץ את הכלי על המחשב האישי?
הקוד בנוי בעזרת ספריות פתוחות מוכרות כמו דיפיוזרס וטרנספורמרס, כך שאפשר להוריד את הקבצים ולהריץ אותם מקומית. כדי לעשות את זה נדרש כרטיס מסך ייעודי של אנבידיה וסביבת פייתון מוגדרת.
כמה זמן לוקח לייצר תמונה?
מכיוון שהאפליקציה רצה על מעבד רגיל בלבד וללא האצת חומרה, התהליך איטי מאוד ויכול להימשך מספר דקות. אם השרת נמצא במצב שינה, תידרש עוד המתנה ראשונית עד שהסביבה תעלה ותטען את המודלים לזיכרון.
מה קורה לקבצים שמעלים לממשק?
התמונות נשלחות לשרת שעליו רצה ההדגמה לצורך ביצוע העיבוד בלבד. הקוד אינו מכיל מנגנון גלוי לשמירה פומבית של התמונות, אך בהיעדר הצהרת פרטיות רשמית מוטב שלא להעלות חומרים רגישים.
איך משתמשים
טוענים תמונה, מחליטים אם להשאיר את חילוץ התיאור האוטומטי או להקליד הנחיה ידנית, בוחרים מודלים ולורה, ולוחצים על כפתור ההפעלה. תחת אפשרויות מתקדמות אפשר לשנות משקלי הנחיה חיובית ושלילית, מספר צעדי עריכה, מדד התאמה להנחיה וערך סיד.
האפליקציה מוגדרת על מעבד בסיסי בלבד וללא מאיץ גרפי, ומצבה הנוכחי במערכת מוגדר כשינה. זה אומר שכדי להשתמש בה צריך לחכות שהיא תתעורר, ובגלל היעדר מעבד גרפי הרצת מודלים כבדים כאלה עלולה לקחת דקות ארוכות לכל תמונה.
הרישיון
היוצרים לא דיווחו על רישיון שימוש בקבצי הפרויקט. במצב כזה לא ברור מהן הזכויות המסחריות על הקוד או על תוצרי העיבוד, וכל שימוש מעבר לבדיקה פרטית בממשק עלול להוות סיכון משפטי.