LTX-2.3-turbo

מה זה

מזינים תיאור טקסטואלי חופשי של הסצנה, התנועה והסאונד. במצבים האחרים אפשר להעלות תמונה כפריים ראשון, להוסיף פריים סיום כדי לייצר מעבר ביניהם, או לצרף קובץ אודיו לצורך התאמת שפתיים ופסקול. הפלט הוא קובץ וידאו עם אודיו מסונכרן באורך שנייה עד 5 שניות, ביחסי תמונה של 16:9, 1:1 או 9:16.

מאחורי הקלעים רץ המודל LTX-2.3 של Lightricks עם 22 מיליארד פרמטרים. כדי להתמודד עם מגבלות הזיכרון, המשקלים עברו קוונטיזציה לפורמט FP8, ועיבוד הטקסט נשען על Gemma-3 בגרסת 12B שמשכתב ומרחיב את הפרומפט. תהליך היצירה מבוסס על מודל מזוקק שמריץ 8 שלבי ניקוי רעשים ברזולוציה נמוכה ועוד 4 שלבים ברזולוציה גבוהה עם שדרוג מרחבי כפול, מה שמקצר משמעותית את זמן העבודה בהשוואה למודל המלא.

מתאים ל

• הנפשת תמונה סטטית

  מעלים תצלום יחיד כפריים ראשון ומקבלים קליפ קצר עם תנועה ואודיו מותאם.

• השלמת תנועה בין שני פריימים

  מזינים תמונת פתיחה ותמונת סיום במצב אינטרפולציה לייצור וידאו שמחבר ביניהן.

• בדיקת וידאו לפי פסקול

  טוענים קובץ סאונד חיצוני כדי לבחון סנכרון תנועת שפתיים או קצב התרחשות בסצנה.

איפה זה נופל

ההגבלה הבולטת ביותר היא שהעמוד מושהה לחלוטין כרגע. מעבר לכך, הקצאת הזמן של חומרת הזירו החינמית קצרה, וניסיון להפיק קטעים של מעל 3 שניות או ברזולוציות מותאמות אישית מוביל לעיתים קרובות לשגיאות של חוסר זיכרון. בנוסף, אין בממשק תמיכה בתוספי מצלמה, מאחר שהם זמינים למודל הקודם של 19 מיליארד פרמטרים ולא לגרסת 22B שרצה כאן.

איך משתמשים

בוחרים מצב עבודה, כותבים פרומפט ולוחצים על כפתור ההפקה. קליפ טיפוסי של שתי שניות ברזולוציית 768x512 לוקח בערך 10 שניות ריצה על כרטיס A10G של זירו ג'יפיאו. עם זאת, נכון לעכשיו העמוד נמצא במצב מושהה ולא ניתן להריץ עליו יצירה באופן ישיר. במידה ומשכפלים את הפרויקט, חובה להזין טוקן אישי עם הרשאות לרישיון של Gemma.

הרישיון

הרישיון מוגדר כאחר. שימוש במודל הטקסט Gemma דורש הסכמה נפרדת לתנאי הרישיון של גוגל לפני הפעלה או שכפול. קובצי הקלט והווידאו שנוצרים מעובדים דרך השרת שעליו רץ הממשק.

הרישיון המלא ב־Hugging Face ↗