ltx2-audio-to-video
רץ בדפדפןmultimodalartרישיון לא דווח2026-01-29
מעלים תמונה אחת וקובץ שמע, ומקבלים סרטון וידאו עם הנפשה מותאמת לסאונד או דיבוב שפתיים. הכלי מיועד ליוצרים שמחפשים להפיח חיים בתמונת סטילס בלי להסתבך בהגדרות מורכבות.
- —הורדות בחודש
- 74לייקים
מה זה
בממשק אתם מעלים תמונת מקור אחת ומצרפים קובץ שמע, לצד שורת הנחיה טקסטואלית שמתארת את הפעולה. בנוסף תוכלו לקבוע את אורך הווידאו הרצוי באמצעות סליידר ייעודי, או לפתוח הגדרות מתקדמות שכוללות הנחיה שלילית וקביעת סיד קבוע לשחזור תוצאות. הפלט שמתקבל הוא קובץ וידאו מונפש שבו התנועה או השפתיים מגיבות לצליל.
מאחורי הקלעים הקוד טוען פייפליין מבוסס דיפיוז'ן שרץ בגרסה מזוקקת של שמונה צעדים, rootonchair/LTX-2-19b-distilled, יחד עם התאמות של multimodalart ולורה של חברת לייטריקס לקיבוע מצלמה סטטית. ספריות moviepy ו־diffusers מחברות בין תהליך יצירת הפריימים לבין פס הקול כדי להוציא את הווידאו הסופי.
מתאים ל
- דיבוב דמות מתמונה
חיבור הקלטת דיבור לפורטרט קיים כדי לייצר הנפשת שפתיים מהירה לתוכן קצר ברשת.
- הנפשה מגיבה למוזיקה
העלאת קטע סאונד ואיור כדי ליצור תנועה ויזואלית בקצב המוזיקה לקליפ או הדגמה.
- בדיקת מודל LTX-2 מזוקק
בחינה מהירה בדפדפן של יכולות המודל בשמונה צעדים לפני שמורידים ומריצים אותו מקומית.
איפה זה נופל
הכלי מחייב גם תמונה וגם סאונד, כך שאי אפשר לייצר סרטון מטקסט בלבד. משום שנעשה כאן שימוש בלורה למצלמה סטטית ובמודל מזוקק קל יחסית שרץ בשמונה צעדים, לא תקבלו תנועות מצלמה דרמטיות, והאיכות או דיוק תנועת השפתיים עשויים להיות מוגבלים ביחס לרינדור מלא וכבד. אם קובץ האודיו ארוך מאוד, כדאי לזכור שהסליידר של אורך הווידאו תוחם את התוצאה.
שאלות
נפוצות
האם צריך לשלם או להירשם כדי להריץ?
הגישה פתוחה בדפדפן על גבי חומרה שיתופית ללא תשלום. כל מה שצריך זה להיכנס לדף, להעלות את הקבצים ולהריץ.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד משתמש בספריות סטנדרטיות כמו diffusers ופונה למודלים שפורסמו ברשת. תצטרכו כרטיס מסך עם זיכרון מספק כדי להחזיק מודל של 19 מיליארד פרמטרים.
במה זה שונה משימוש ישיר במודל LTX-2 הרגיל?
הכלי משלב גרסה מזוקקת שרצה בשמונה צעדים בלבד יחד עם לורה של לייטריקס למצלמה יציבה. זה הופך את היצירה למהירה וקלה בהרבה בדפדפן, במחיר של פחות גמישות בהגדרות העמוקות.
מה קורה לקבצים שאני מעלה?
התמונה והקול עולים לשרת המארח של המרחב כדי שהסקריפט יוכל לעבד אותם לסרטון. הם לא מוצגים כגלריה ציבורית בעמוד, אך המערכת רצה על תשתית ענן ציבורית.
איך משתמשים
גוררים תמונה ושמע לתיבות המתאימות, כותבים תיאור קצר ולוחצים על כפתור ההפעלה הראשי. אם תשכחו את התמונה או את קובץ הקול, הממשק יקפיץ שגיאה וידרוש את שניהם לפני שיתחיל לעבוד. הביצוע מתבסס על מעבד גרפי מדגם A10G בסביבת שיתוף, מה שאומר שהגרסה המזוקקת בשמונה צעדים רצה יחסית מהר, אבל ייתכן שתמתינו בתור אם העומס על השרת המשותף גבוה באותו רגע.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. אם אתם מתכננים להשתמש בתוצרים לצרכים מסחריים, צריך לבדוק בנפרד את תנאי השימוש של מודלי הבסיס של לייטריקס ושל המפתחים לפני שמשלבים את הווידאו בפרויקט.