GPT
U

Upside-Down-Diffusion

רץ בדפדפן

AP123openrail2023-09-19

  • gradio

מייצרים תמונה אחת שמציגה סצנה מסוימת בכיוון הרגיל, אבל כשמסובבים אותה ב־180 מעלות מזהים סצנה אחרת לגמרי. זה מתאים ליוצרים שמחפשים אשליות אופטיות מבוססות טקסט.

  • הורדות בחודש
  • 187לייקים

מה זה

אתם מקלידים שני תיאורים טקסטואליים שונים. התיאור הראשון מגדיר מה רואים בתמונה כשהיא ישרה, והתיאור השני קובע מה ייחשף כשתסובבו אותה הפוך. בסיום מקבלים תמונה אחת שכוללת כפתור סיבוב כדי לבדוק איך היא נראית משני הכיוונים.

מאחורי הקלעים רץ המודל stable-diffusion-xl-base-1.0 יחד עם רכיב התיקון sdxl-vae-fp16-fix. הטכניקה מפעילה את מנגנון הדיפוזיה כך שייקח בחשבון את שני התיאורים במקביל, בכיוון רגיל ובהיפוך מלא, ומייצרת פלט יחיד שמתאים לשניהם. בממשק יש לשונית ליצירה נוכחית ולשונית ששומרת דורות קודמים.

מתאים ל

  • יצירת אשליות אופטיות

    מזינים שני תיאורים מנוגדים ומקבלים איור דו כיווני שמשתנה לחלוטין ברגע שמסובבים אותו.

  • איורים לחידות והפעלות

    יוצרים תמונות מתחלפות שמתאימות למשחקי חשיבה, כרטיסי ברכה מודפסים או ספרי ילדים.

  • בדיקת יכולות SDXL

    בוחנים כיצד המודל מתמודד עם אילוצים כפולים של גיאומטריה והיפוך על אותו מרחב פיקסלים.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין. האפליקציה מדווחת על שגיאת ריצה ולא זמינה לשימוש ברשת בלי תיקון. בנוסף, חומרת t4-small חלשה יחסית לדרישות של SDXL, מה שעלול לגרום לזמני המתנה ארוכים מאוד אם היא תופעל מחדש.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה בחינם?

כן, הדף פתוח לגישה חופשית בחינם. עם זאת, כרגע הוא תקוע במצב שגיאת ריצה. עד שהמפתח יעדכן את הקוד לא ניתן להפעיל אותו שם בפועל.

כמה זמן לוקח לייצר תמונה?

המודל המוגדר הוא SDXL והחומרה שהוקצתה לו היא t4-small. השילוב הזה נחשב לאיטי עבור מודל כבד כל כך, ולכן יצירה עשויה להימשך דקה או יותר בכל פעם, בהנחה שהמערכת פועלת.

האם אפשר להריץ את זה מקומית במחשב שלי?

כן, הקוד הועלה לסביבת הגיט של הפרויקט ומשתמש בספריית diffusers של פייתון. תצטרכו מחשב עם מעבד גרפי חזק יחסית כדי לטעון את SDXL והרכיבים הנוספים ללא שגיאות זיכרון.

במה זה שונה משימוש רגיל ב־Stable Diffusion XL?

שימוש רגיל במודל מקבל תיאור אחד ומייצר תמונה אחת לכיוון מסוים. כאן הקוד משלב תהליך דיפוזיה לשני פרומפטים שונים במקביל, כאשר צד אחד של החישוב נעשה כשהתמונה הפוכה כדי לקבל אשליה כפולה.

איך משתמשים

ממלאים את שדות הטקסט של שני התיאורים ולוחצים על Run. יש גם אפשרות להתחברות לחשבון כדי לנהל היסטוריה, וכפתור ייעודי שמסובב את התמונה בין שני המצבים.

הקוד רשום על חומרת t4-small, כך שהרצה של מודל כבד כזה עשויה לקחת זמן. כרגע לא תצליחו לייצר כלום בדפדפן כי המרחב נמצא במצב של שגיאת ריצה.

הרישיון

הפרויקט מוגדר תחת רישיון openrail. הרישיון הזה מתיר שימוש חופשי ופיתוח המשך, אך מטיל הגבלות ספציפיות על יצירת תכנים מזיקים או פוגעניים. כל תוכן שאתם מייצרים כפוף למגבלות השימוש המוגדרות של המודל.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗