VisualStylePrompting
רץ בדפדפןnaver-aiother2024-03-13
מעלים תמונת סגנון, מקלידים הנחיית טקסט, ומקבלים תמונה חדשה שמשלבת בין השניים. הכלי מתאים לחוקרים ויוצרים שרוצים להעתיק שפה חזותית בלי לאמן מודל מותאם אישית.
- —הורדות בחודש
- 55לייקים
מה זה
האפליקציה מקבלת תמונה שממנה נלקח הסגנון החזותי יחד עם תיאור טקסטואלי של האובייקט החדש שאתם רוצים לראות. בנוסף, יש אפשרות להגדיר את מספר התמונות שייווצרו ולבחור בין 10 ל־50 צעדי דיפוזיה בעזרת סליידר ייעודי בממשק. בסיום החישוב המערכת מציגה את התוצאה הסופית שנוצרה.
מתחת למכסה המנוע רץ צינור עיבוד המבוסס על Stable Diffusion XL לצד מודל Blip2 של Salesforce לעיבוד והבנת התמונה. הקוד משתמש במילון פנימי של תיאורי סגנון ומבצע החלפות של אובייקטים בהנחיה החיובית והשלילית, כשהוא נעזר במודלים של CLIP מבית OpenAI ו־LAION כדי לכוון את היצירה. בממשק משובצות דוגמאות מובנות של סגנונות שנטענים מראש כדי לבדוק את התהליך בלי להעלות קובץ חיצוני.
מתאים ל
- העברת סגנון אומנותי
לקיחת מראה חזותי מציור או מאיור קיים ויצירת אובייקט חדש לחלוטין באותה שפה גרפית.
- ניסוי בהנחיות מבוססות ראייה
בדיקת שילוב של מודל Blip2 יחד עם Stable Diffusion XL לחקר ביצועים של הנחיה חזותית.
- יצירת גרסאות מרובות
הפקת מספר פלטים במקביל עבור אותו סגנון באמצעות שדה כמות התוצאות בממשק.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה פשוט לא עובדת ומדווחת על RUNTIME_ERROR, כך שאי אפשר להריץ אותה ישירות בממשק. מעבר לתקלה הטכנית, הקוד מסתמך על מילון סגנונות מוגדר מראש שבו מתבצעות החלפות מחרוזות של שמות אובייקטים, מה שאומר שהדגמה מוצלחת עלולה לנבוע מהגדרות תפורות מראש ולא מיכולת הכללה אמיתית של כל תמונה שתעלו.
בנוסף, הממשק מחביא שדה בשם Style name, כך שאתם לא לגמרי שולטים באופן שבו הקוד מתאים את תיאור הסגנון הפנימי לבקשה שלכם.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק באתר היא חינמית לחלוטין. עם זאת, נכון לעכשיו הכלי מושבת בגלל שגיאת ריצה ולכן לא ניתן להפיק ממנו תוצרים בפועל.
כמה זמן לוקח לייצר תמונה?
החומרה שהוגדרה להרצה היא כרטיס zero-a10g, מה שאמור לקחת שניות בודדות עד חצי דקה כתלות בכמות הצעדים. כרגע החישוב לא מתחיל כלל בגלל תקלה במערכת.
האם אפשר להריץ את הכלי על המחשב שלי?
כן, הקוד מסתמך על ספריות מוכרות כמו diffusers ו־transformers ומודלים שזמינים להורדה ברשת. תצטרכו כרטיס מסך חזק שמסוגל להחזיק את Stable Diffusion XL ואת Blip2 בו-זמנית.
מה קורה עם התמונות שמעלים לממשק?
הקבצים מועלים לעיבוד ישירות על השרת שמארח את האפליקציה. מאחר שהרישיון מוגדר כאחר ולא מפורט במלואו, עדיף להימנע מהעלאת תמונות פרטיות או רגישות.
איך משתמשים
בפועל אתם מעלים תמונה לשדה Style Image, מקלידים הנחיה בתיבת Text prompt, קובעים את כמות הפלטים ומכוונים את מספר צעדי הדיפוזיה בין 10 ל־50. לאחר מכן לוחצים על כפתור ההרצה כדי להתחיל.
המערכת מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמספק כוח מחשוב מהיר למדי, אבל כרגע האפליקציה נמצאת במצב של שגיאת ריצה. כל עוד השרת לא תוקן על ידי המפתחים, אי אפשר לייצר תמונות בפועל דרך הדפדפן, בלי קשר לחיבור לחשבון או להמתנה בתור.
הרישיון
הרישיון המוגדר הוא מסוג other, מה שאומר שאין כאן רישיון קוד פתוח סטנדרטי ומוכר. השימוש בקוד, במודלים ובתוצרים שנוצרים תלוי בתנאים הספציפיים שהיוצרים קבעו, ולכן לא מומלץ להשתמש בתוצאות לפרויקטים מסחריים בלי לבדוק את ההגבלות המשפטיות של naver-ai.