Real-Time-Latent-Consistency-Model

מה זה

אתם פותחים את המצלמה ומקלידים תיאור טקסטואלי, והווידאו שלכם מעובד תוך כדי תנועה לשידור רציף בסגנון שביקשתם. אפשר להשתמש בזיהוי קווי מתאר מסוג Canny כדי לשמור על תנוחת הגוף, או ליצור תמונה מטקסט בלבד ללא מצלמה.

מאחורי הקלעים רץ שרת שמזרים MJPEG ומבוסס על Latent Consistency Models עם LoRA וארכיטקטורות כמו SDXL Turbo או Segmind-Vega. הטכניקה הזו חותכת את מספר צעדי החישוב לעד ארבעה צעדים בודדים, מה שמאפשר לייצר פריימים ברצף בלי להמתין שניות ארוכות לכל תמונה.

מתאים ל

• סינון וידאו חי

  עיבוד שידור מצלמת רשת בזמן אמת לסגנונות ציור ודמויות לפי הנחיית טקסט.

• בדיקת צינורות LCM

  ניסוי מקומי של שילובי ControlNet Canny ו־LoRA להבנת זמני עיבוד בפריימים רציפים.

• הזרמת תמונה מטקסט

  יצירה מהירה של תמונות מטקסט בצעדי חישוב בודדים ללא תלות בקלט וידאו.

איפה זה נופל

המופע בענן תקוע כרגע במצב של תקלת ריצה, כך שאי אפשר להשתמש בו ישירות באתר בלי להריץ את הקוד לבד. מעבר לזה, המודל דורש מצלמת רשת זמינה וקצב עיבוד כבד, כשמצב SDXL איטי משמעותית מרזולוציית ברירת המחדל עקב גודל של 1024 על 1024 פיקסלים.

איך משתמשים

כרגע אי אפשר ללחוץ על כלום בדפדפן כי המופע המרוחק מדווח על שגיאת ריצה. כשהוא פעיל, נותנים גישה למצלמת הרשת ומקלידים הנחיה, ללא צורך בהרשמה. ההרצה דורשת כרטיס גרפי חזק, כשבהדגמה מוגדר מאיץ L40S של אנבידיה שנועד להחזיק את קצב הפריימים הרציף.

הרישיון

הרישיון של המאגר אינו מדווח. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד, והסטטוס המשפטי של התוצר תלוי ברישיונות של מודלי הבסיס השונים שמופעלים ברקע.

הרישיון המלא ב־Hugging Face ↗