Real-Time-LCM-ControlNet-Lora-SD1.5
רץ בדפדפןlatent-consistencyרישיון לא דווח2023-11-09
הדגמה שמייצרת וידאו בזמן אמת ממצלמת הרשת שלכם באמצעות מודל תמונה וזיהוי קצוות. היא מיועדת למפתחים ויוצרים שרוצים לבדוק ביצועי יצירה חיים במעט צעדים.
- —הורדות בחודש
- 62לייקים
מה זה
אתם מחברים מצלמת רשת, והמערכת מעבירה את הזרם דרך זיהוי קצוות Canny ומחזירה תמונה מעובדת בשידור חי בפורמט MJPEG. הקלט הוא הווידאו החי שלכם יחד עם פרומפט טקסטואלי, והפלט הוא וידאו מעובד שמתעדכן ברציפות מול המצלמה.
מאחורי הקלעים רץ שילוב של Latent Consistency Model יחד עם LoRA עבור Stable Diffusion 1.5, מה שמאפשר להגיע לתוצאה בארבעה צעדי דגימה בלבד במקום עשרות. המערכת משתמשת גם במפענח זעיר מסוג TAESD כדי לחתוך את זמני הפענוח, וב־ControlNet כדי לשמור על קווי המתאר של התנועה שלכם מול המצלמה.
מתאים ל
- סינון וידאו חי מול מצלמה
הלבשת סגנונות אמנותיים על תנועת הגוף והפנים שלכם בזמן אמת מול מצלמת הרשת.
- בדיקת צינורות יצירה מהירים
בחינת יכולות של LCM יחד עם LoRA במעט צעדי ריצה על גבי תשתיות מקומיות.
- הדגמות אינטראקטיביות
שילוב יצירת תמונה מבוססת תנועה וקצוות במיצגים או בממשקי משתמש חיים.
איפה זה נופל
החיסרון המיידי הוא שהעמוד בענן פשוט לא עובד כרגע וזורק שגיאה, כך שאי אפשר להתנסות בו בלי להרים את הקוד עצמאית. בנוסף, המחיר של מהירות בארבעה צעדים בלבד עם מפענח קל כמו TAESD הוא ירידה מורגשת בחדות ובדיוק של הפרטים הקטנים בהשוואה למודלים רגילים. ההדגמה מחייבת מצלמת רשת פעילה, ואם תרצו לבדוק אותה במכשיר נייד דרך הדפדפן תצטרכו להגדיר תעודת אבטחה וחיבור מוצפן.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום, אך כרגע השרת המשותף נמצא במצב שגיאה ולא מגיב. אם תרצו להריץ את המכולה בעצמכם בענן, תצטרכו לשלם על שרת ייעודי עם מעבד גרפי.
האם אפשר להריץ את הפרויקט על המחשב האישי?
כן, הקוד כולל תמיכה מלאה בדוקר ופייתון עבור מחשבים עם כרטיסי אנבידיה, מעבדי אפל סיליקון או אינטל ארק. תצטרכו להתקין סביבת פייתון עם תמיכה בהאצת חומרה, ספריות צד לקוח ומצלמת רשת מחוברת.
מה קורה עם וידאו שמוזרם דרך המצלמה?
הקוד משתמש בשרת FastAPI מקומי שמזרים את הווידאו למודל לצורך עיבוד התמונה ומחזיר שידור בפורמט MJPEG. הנתונים מיועדים לעיבוד השוטף של אותם פריימים, אך כשהשרת הציבורי למעלה הזרם עובר דרך שרתי האגינג פייס.
במה הכלי שונה מהרצת מודל רגיל של סטייבל דיפיוז'ן?
מודל רגיל דורש בדרך כלל בין עשרים לחמישים צעדים שלוקחים שניות ארוכות לכל תמונה בודדת. השילוב כאן של LCM עם מפענח TAESD דוחס את כל התהליך לארבעה צעדים, מה שמאפשר קצב פריימים רציף שמרגיש כמו שיחת וידאו חיה.
איך משתמשים
כרגע אי אפשר להריץ את ההדגמה ישירות בדפדפן כי השרת שלה נמצא במצב של שגיאת ריצה. כשהיא פועלת, נכנסים, מאשרים גישה למצלמת הרשת, מקלידים הנחיה ורואים את הזרם משתנה מיד. אין צורך בהרשמה או התחברות. חומרת הענן שמסומנת עבורה היא A10G קטנה, שמתאימה מאוד לריצה מהירה של ארבעה צעדים, אך היא כוללת מנגנון להגבלת זמן שימוש ותור משתמשים כדי למנוע עומס.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הרשאה משפטית ברורה לשימוש מסחרי בקוד או בתוצרים, ורצוי להתייחס לפרויקט כהדגמת קוד פתוח למחקר והתנסות בלבד עד להסדרת הנושא.