StreamDiffusion-realtime-txt2img
רץ בדפדפןShizuku-AIרישיון לא דווח2023-12-12
היישום מפיק תמונות מטקסט בזמן אמת באמצעות מנוע StreamDiffusion. הוא מיועד למי שרוצה לבדוק יצירה רציפה ומהירה בלי להמתין לעיבוד ארוך.
- —הורדות בחודש
- 46לייקים
מה זה
אתם מקלידים תיאור טקסטואלי חופשי ומקבלים תמונה שמשתנה מיד תוך כדי הקלדה. בריפו מופיעה אנימציית gif שמציגה איך התוצאה הוויזואלית מתעדכנת ברציפות ללא הפסקה בכל פעם שהקלט משתנה.
מאחורי הקלעים רץ שילוב של מספר רכיבים כבדים. המנוע נשען על sd-turbo ועל LCM-LoRA שמאיץ את גרסה 1.5 של סטייבל דיפיוז'ן. בנוסף פועלים שם מפענח זעיר מסוג taesd שמאפשר תצוגה מהירה, מודל clip-vit-base-patch32 לניתוח הטקסט, ובודק בטיחות של CompVis שמסנן תכנים בעייתיים.
מתאים ל
- בדיקת תגובה בזמן אמת
בוחנים איך שינוי של מילה אחת במשפט הקלט משפיע מיידית על התמונה.
- הקמת שרת הדגמה מקומי
מריצים את מכולת הדוקר על חומרת אנבידיה מקומית כדי לחקור את טכנולוגיית ההזרמה.
- שילוב רכיבי האצה
לומדים מהקוד איך לחבר את taesd יחד עם sd-turbo ו־LCM ליצירת צינור עבודה מהיר.
איפה זה נופל
הבעיה המרכזית היא שההדגמה הנוכחית שבורה ואינה עובדת ברשת. מעבר לזה, המודלים המהירים מקריבים לעיתים קרובות פרטים עדינים ודיוק בהשוואה למודלים מלאים שאינם מיועדים לזמן אמת. בודק הבטיחות המובנה עלול לחסום ביטויים תמימים, וטקסט בעברית צפוי להתקבל פחות טוב בגלל התבססות על CLIP באנגלית.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בחינם דרך הדפדפן?
כרגע לא, משום שהיא נמצאת במצב של שגיאת ריצה. בעמוד אין אפשרות לשלוח פרומפטים או לצפות בתוצרים חיים. המשאבים אמנם מוגדרים על חומרת ענן ייעודית, אך עד שהמפתח יתקן את הקוד הממשק אינו זמין.
האם אפשר להתקין ולהריץ את הכלי על המחשב?
כן, הקבצים כוללים הגדרות דוקר וסקריפט הפעלה בשם start.sh. תצטרכו להוריד את הקוד, להתקין את התלויות ולהחזיק כרטיס מסך מתאים שתומך בהרצה של sd-turbo. ההוראות ממליצות למפות את תיקיית המטמון כדי להימנע מהורדה חוזרת של המשקלים.
במה היישום הזה שונה מסתם הרצה של Stable Diffusion?
הוא עושה שימוש בארכיטקטורת StreamDiffusion שמבצעת אופטימיזציה ייעודית להזרמת פריימים רציפה. במקום לחכות מספר שניות לסיום כל תהליך הדיפיוז'ן, המערכת דוחפת עדכונים מיידיים בעזרת מודל LCM ו־taesd. זה מאפשר לראות שינויים מיד בעת ההקלדה.
מה קורה עם הטקסט שמקלידים שם?
המידע מועבר ישירות למודל לצורך הפקת התמונה ועובר סינון דרך בודק הבטיחות של CompVis. מאחר שההדגמה הרשתית מושבתת כרגע, אין שרת פעיל שקולט את הנתונים שלכם. אם תריצו את הפרויקט באופן מקומי, המידע יישאר כולו על המחשב שלכם.
איך משתמשים
כרגע היישום מדווח על תקלת ריצה ולא מגיב בדפדפן. במצב תקין הוא מוגדר לפעול על חומרת a10g-small שמספקת את כוח החישוב הנדרש להזרמה המהירה. מי שרוצה להריץ אותו צריך לעשות זאת מקומית באמצעות שרת פייתון וממשק npm שמתחבר בפורט 9090, או לבנות אימג' דוקר עם גישה לכרטיס מסך מתאים.
הרישיון
היוצרים לא דיווחו על רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה להשתמש בו לפרויקטים מסחריים או להפיץ אותו מחדש. בנוסף, המודלים השונים שמופעלים בפנים כפופים לתנאי השימוש המקוריים שלהם.