Lightricks/ltx-2

מה זה

אתם מעלים תמונת מקור, כותבים תיאור טקסטואלי של מה שצריך לקרות, ובוחרים משך זמן לסרטון. הממשק כולל גם תיבת סימון לשיפור אוטומטי של הפרומפט ואזור הגדרות מתקדמות שבו קובעים הנחיה שלילית, סיד, מספר צעדי דגימה, ערך הנחיה, ומידות רוחב וגובה מותאמות אישית. בסיום התהליך מופיע נגן וידאו שמציג את התוצאה עם פס קול מסונכרן.

מאחורי הקלעים הקוד משתמש בצינור עיבוד דו שלבי בשם TI2VidTwoStagesPipeline שמחבר תמונה וטקסט לווידאו, לצד מנגנון חלוקה לבלוקים לתמיכה ברזולוציות שונות. המערכת מקושרת למספר מודלים, בהם LTX-2 של לייטריקס לצד מודלים חיצוניים כמו Gemma ו־Qwen שמשמשים לטקסט ולהנחיות.

מתאים ל

• הנפשת תמונות סטילס

  הפיכת תמונת מקור לסרטון וידאו קצר המבוסס על הנחיה טקסטואלית והגדרות משך זמן.

• יצירת וידאו עם סאונד

  הפקת קטע וידאו הכולל שמע תואם ישירות מתוך הפרומפט והתמונה שהעליתם.

• בדיקת הגדרות דגימה

  ניסוי בערכי הנחיה, סיד ושלבי חישוב שונים כדי לראות את ההשפעה על איכות התנועה.

איפה זה נופל

הבעיה המיידית היא שההדגמה מדווחת על שגיאת ריצה ולא זמינה לשימוש פעיל בדפדפן. מעבר לזה, יצירת וידאו עם אודיו ממודל מורכב כזה תלויה מאוד בצינור עיבוד רב שלבי, ומשאבי מעבד גרפי יחיד עלולים להגביל את אורך הסרטון והרזולוציה בפועל. אל תצפו לחוויית עריכה מלאה, שכן אין שליטה מפורטת על ערוצי השמע או מעברים מדויקים.

אותה משפחה

ltx-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך משתמשים

לוחצים על כפתור ההפקה וממתינים. הריצה מתבצעת על חומרת שרת מסוג zero-a10g שמקצה משאבי עיבוד לפי דרישה, מה שאומר שבשעות עומס תמתינו בתור עד שכרטיס המסך יתפנה וייטען. שורת התקדמות בממשק עוקבת אחרי שלבי החישוב. עם זאת, נכון לעכשיו העמוד מסומן במצב תקלת ריצה ולא מגיב, כך שאי אפשר להשלים יצירה עד שהמפתחים יתקנו את הסקריפט.

הרישיון

הרישיון של העמוד לא דווח על ידי היוצרים. במצב כזה תנאי השימוש בקוד ובפלט אינם מוגדרים רשמית, ומומלץ לבדוק את הרישיון המקורי במאגר המודל או הקוד בגיטהאב לפני שימוש בתוצרים.

הרישיון המלא ב־Hugging Face ↗