LTX-2-3-sync
רץ בדפדפןlinoytsרישיון לא דווח2026-03-07
הכלי מנפיש תמונת פורטרט ומסנכרן תנועות שפתיים לפי וידאו או קובץ קול שתזינו. הוא מיועד למי שרוצה לבדוק התאמת דיבור והבעות פנים על בסיס LTX 2.3.
- —הורדות בחודש
- 176לייקים
מה זה
מעלים תמונת פנים יחד עם וידאו מקור או קובץ שמע, ומקבלים סרטון שבו הדמות המקורית מונפשת ומדברת בהתאם לקלט. הממשק כולל שדה טקסט לתיאור התנועה, בחירת משך זמן, ומאפשר לקחת את השמע ישירות מסרטון המקור או לטעון רצועת קול נפרדת לחלוטין.
מאחורי הקלעים פועלת גרסה מזוקקת של מודל הווידאו Lightricks LTX 2.3 בשילוב בקרת תנועה מסוג LoRA ומערכת DWPose לחילוץ תנוחות גוף ופנים. לצד זה רצים מודל SmolVLM2 לניתוח אוטומטי של תנועת הווידאו ומודל Gemma של גוגל להרחבת תיאורי הטקסט, לצד אפשרות להכפלת הרזולוציה באמצעות מודל שדרוג ייעודי.
מתאים ל
- דיבוב תמונת פורטרט
חיבור קובץ קול לתמונת פנים בודדת כדי ליצור סרטון דיבור קצר עם הנפשת שפתיים.
- העתקת תנועות מווידאו
חילוץ מחוות פנים מסרטון קיים בעזרת DWPose והלבשתן על דמות מתמונה סטטית.
- בדיקת איכות של LTX 2.3
בחינה מעשית של ביצועי המודל המזוקק והבקרים שלו לפני שילוב בקוד עצמאי.
איפה זה נופל
היישום מתמקד אך ורק בפורטרטים ותנועות דיבור, ולא מיועד לסצנות מורכבות של גוף מלא או תנועה רחבה במרחב. ההדגמות המובנות מחושבות מראש ועלולות ליצור רושם של עיבוד מיידי, אבל בפועל עיבוד וידאו עם רשתות עמוקות כאלה דורש סבלנות. סנכרון השפתיים עלול לזייף אם זווית הראש בתמונה רחוקה מדי מזו שבסרטון המקור.
שאלות
נפוצות
האם השימוש ביישום עולה כסף?
השימוש בממשק הזה פתוח בדפדפן ללא תשלום ישיר. עם זאת, הוא רץ על תשתית חומרה שיתופית מסוג zero-a10g. אם המכסה השיתופית של השרת תסתיים, תצטרכו להמתין עד שהמשאבים יתפנו.
מה קורה עם התמונות והסרטונים שמעלים לשם?
הקבצים נשלחים לעיבוד על גבי השרת שמריץ את האפליקציה. מאחר שמדובר במרחב הדגמה ציבורי ללא רישיון שימוש מוגדר, לא כדאי להעלות לשם תכנים רגישים, מסחריים או מידע אישי מזהה.
כמה זמן לוקח לייצר סרטון?
ההפקה דורשת בדרך כלל בין עשרות שניות לכמה דקות, בהתאם לאורך הקטע ולרזולוציה שנבחרה. המערכת מריצה כמה מודלים כבדים ברצף כולל מעקב תנוחה ורינדור וידאו, כך שלא מדובר בתוצאה מיידית כמו בהדגמות השמורות.
במה היישום שונה מהרצת המודל ישירות?
היישום מחבר יחד כמה כלים נפרדים לכדי שרשרת אחת קלה לשימוש בדפדפן. במקום לכתוב קוד שמפעיל את רשת DWPose, מודל השפה SmolVLM2 ומודל LTX 2.3 בנפרד, הממשק מרכז את כל שלבי הניתוח והעיבוד תחת כפתור אחד.
איך משתמשים
מעלים תמונה, מוסיפים וידאו או שמע, ולוחצים על כפתור ההפקה. היישום מוגדר על חומרת zero-a10g שמקצה מעבד גרפי רק בזמן הריצה, כך שצריך להמתין לעליית המשאבים ולסיום תהליך החישוב הכבד. אין כאן חובת תשלום או הרשמה מיוחדת מעבר לגישה רגילה בדפדפן, אבל זמני ההמתנה תלויים בעומס על השרת המשותף.
הרישיון
הרישיון של היישום הספציפי הזה לא דווח במאגר, מה שאומר שאין היתר שימוש מסחרי מוגדר וברור. התוכן שאתם מעלים עובר דרך שרתי העיבוד של הממשק הציבורי, ולכן לא מומלץ להעלות חומרים רגישים או פרטיים.