Real-Time-SD-Turbo

מה זה

הקלט העיקרי כאן הוא שידור חי ממצלמת הרשת שלכם, יחד עם שורת טקסט שמגדירה למודל מה לייצר. בצד השני אתם מקבלים זרם וידאו רציף בפורמט MJPEG, שבו התנועות והפרצופים שלכם הופכים בזמן אמת לדימוי חדש בהתאם להנחיה.

מתחת למכסה המנוע נמצא שילוב של מודלים מהירים מהמשפחות של Latent Consistency Models ו־SD-Turbo, לצד ארכיטקטורות תומכות כמו ControlNet שמחלץ קווי מתאר בשיטת Canny. המערך הזה בנוי כדי לדחוס את שלבי יצירת התמונה למינימום האפשרי, עד כדי ארבעה צעדי עיבוד בלבד או פחות, מה שמאפשר לייצר פריימים ברצף בלי להמתין לעיבוד ארוך.

הקוד כולל תמיכה במגוון רחב של מסלולי הרצה, החל מ־SDXL Turbo הכבד ועד מודלים קלים יותר. חלק מהצינורות משתמשים במפענח ייעודי וזעיר בשם TAESD כדי לחסוך עוד כמה אלפיות שנייה יקרות בכל פריים שמועבר חזרה למסך.

מתאים ל

• בדיקת ביצועים למודלים מהירים

  מדידת קצב הפריימים וזמני השיהוי של מודלי תמונה בריצת וידאו רציפה.

• פילטר וידאו מבוסס הנחיות טקסט

  שינוי המראה של שידור המצלמה החי בהתאם לפרומפט שמוקלד תוך כדי תנועה.

• בסיס לפיתוח מקומי עם מצלמה

  הורדת הקוד והרצתו על חומרת אנבידיה מקומית לצורך בניית ממשקי שידור חיים.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה בכלל לא עובדת בדפדפן עקב שגיאת ריצה בשרת. גם אם היא הייתה פעילה או אם תריצו אותה עצמאית, הזרמת וידאו מהיר דורשת פשרות כבדות באיכות. רזולוציית התוצאה נמוכה, העיוותים במבנה הפנים והידיים בולטים מאוד, וחייבים מצלמת רשת מחוברת כי אי אפשר סתם לגרור קובץ קיים.

איך משתמשים

כדי להתחיל צריך לפתוח את העמוד ולאשר גישה למצלמת הרשת בדפדפן. בפועל האפליקציה נמצאת כרגע במצב של שגיאת ריצה על השרת, כך שההדגמה החיה בענן לא מגיבה. במקור השרת רץ על מאיץ חזק מסוג L40S של אנבידיה שנועד לתת מהירות תגובה מיידית בלי צווארי בקבוק.

הרישיון

היוצר לא הגדיר רישיון רשמי לפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, והזכויות על התוצר והקלט תלויות במודלים הפנימיים שנטענים בזמן ההרצה.

הרישיון המלא ב־Hugging Face ↗