MultiDiffusion
רץ בדפדפןweizmannscienceרישיון לא דווח2023-02-18
הדגמה שמייצרת תמונות פנורמיות רחבות מטקסט באמצעות שילוב מיוחד של מודל דיפוזיה. היא מיועדת לחוקרים ויוצרים שרוצים לבחון יצירת תמונות רחבות במיוחד בלי מריחות.
- —הורדות בחודש
- 93לייקים
מה זה
אתם מקלידים תיאור טקסטואלי של מה שאתם רוצים לראות ובוחרים רוחב תמונה בעזרת סליידר שנע בין 512 ל־4608 פיקסלים, בקפיצות של 128. כברירת מחדל מוגדר רוחב של 4096 פיקסלים, והדוגמה המובנית מציעה פרומפט של תמונת הרי הדולומיטים.
מאחורי הקלעים רץ הקוד של MultiDiffusion יחד עם StableDiffusionPanoramaPipeline ומתזמן מסוג DDIMScheduler, שמבוססים על המודל הבסיסי stabilityai/stable-diffusion-2-base. במקום סתם למתוח תמונה רגילה, האלגוריתם מתאם כמה חלונות יצירה במקביל כדי לתפור פנורמה אחידה, והתוצאות מוצגות בגלריה ישירות בממשק.
מתאים ל
- יצירת תמונות נוף פנורמיות
הפקת תמונות רחבות במיוחד עד רוחב 4608 פיקסלים מטקסט חופשי.
- בדיקת אלגוריתם התפירה
בחינה איך השיטה של MultiDiffusion מחברת חלונות תמונה רציפים.
- השוואת ביצועים מול SD2
בדיקת ההבדל בין רינדור רחב רגיל לשימוש בצינור פנורמה ייעודי.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה בכלל לא פועלת כרגע ונמצאת במצב שגיאה. מעבר לכך, היא מוגבלת למודל הישן יחסית סטייבל דיפיוזן 2 בגרסת הבסיס, כך שאיכות התמונה והדיוק בפרטים נשענים על היכולות שלו מ־2023. הממשק גם לא מאפשר לשלוט על גובה התמונה, אלא רק על הרוחב.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא דרך האתר. היא נמצאת במצב של שגיאת ריצה ואינה זמינה לשימוש בדפדפן עד שיועלה תיקון לקוד.
האם השימוש בה כרוך בתשלום?
לא, הגישה לעמוד פתוחה וחופשית לחלוטין. אם תרצו להריץ אותה בעצמכם על חומרה משלכם, תצטרכו לשאת בעלויות המחשוב הרלוונטיות.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות diffusers מוכרות ופייתון. אפשר לקחת את הקוד מ־app.py ולהריץ אותו על מחשב עם כרטיס מסך מתאים.
במה היא שונה מיצירת תמונה רגילה במודל?
היא לא מייצרת תמונה במידות ברירת המחדל ואז מרחיבה אותה. השיטה מפעילה מנגנון שמתאם את הדיפוזיה לאורך רוחב של אלפי פיקסלים במקביל.
איך משתמשים
בפועל אתם רק מקלידים פרומפט, מכוונים את הרוחב ולוחצים על כפתור ההפעלה בממשק הגראדיו. האפליקציה מוגדרת לרוץ על חומרת a10g-small, אבל כרגע העמוד מדווח על שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להפעיל אותה ישירות בדפדפן בלי שמישהו יתקן את הסביבה או שתריצו את הקוד בעצמכם.
הרישיון
לא דווח רישיון בעמוד של הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים ישירות מכאן, וצריך לבדוק את תנאי המאמר, עמוד הפרויקט החיצוני והרישיון של המודל המקורי לפני שעושים בזה שימוש כלשהו.