T2V-Turbo-V2
רץ בדפדפןTIGER-Labapache-2.02024-10-09
הדגמת רשת שמייצרת סרטוני וידאו קצרים מטקסט בעזרת תהליך זיקוק מהיר. היא מתאימה למי שרוצה לבדוק יכולות גנרציה מודרניות בלי להרים סביבת פיתוח כבדה במחשב.
- —הורדות בחודש
- 189לייקים
מה זה
אתם מקלידים תיאור טקסטואלי חופשי באנגלית, והממשק פולט קובץ וידאו באורך קצר ברזולוציה של 512 על 320 פיקסלים. אפשר לשלוט על פרמטרים כמו מספר הצעדים, הנחיית הטקסט, סיד אקראי ודיוק החישוב. הממשק מציע רשימת דוגמאות טקסט מוכנות מראש לבדיקה מהירה, אך הדוגמאות אינן שמורות מראש במטמון וכל אחת מהן מרונדרת מחדש בעת הבחירה.
מאחורי הקלעים רץ שילוב כבד של מודלים. הבסיס נשען על VideoCrafter2 יחד עם משקולות של T2V-Turbo-v2 ומתזמן ייעודי שנועד לקצר את תהליך הדגימה. לצד אלה נטענים מודלי שפה ממשפחת T5 של גוגל ברמות גודל שונות, מודלי ראייה של CLIP מבית OpenAI ו־LAION, ומודל הווידאו InternVideo2 לצורך תיאום התוכן והאיכות.
מתאים ל
- בדיקת פרומפטים לווידאו
מזינים תיאור סצנה כדי לראות אם המודל מבין את הקומפוזיציה והתנועה לפני ריצה כבדה.
- יצירת סרטוני בדיקה קצרים
מפיקים קטעי אנימציה ותנועה קצרים באורך שניות בודדות עבור פרזנטציות או אבות טיפוס.
- השוואת ביצועי מודלים
בוחנים את איכות התנועה והרינדור של מודל הווידאו לעומת פתרונות קודמים בתחום.
איפה זה נופל
הממשק מוגבל לווידאו ברזולוציה נמוכה למדי של 512 על 320, כך שלא תקבלו כאן תוצר חד שמתאים להפקה מלאה. הוא מפיק שניות בודדות בלבד, ללא סאונד, והקוד טוען מודלי שפה באנגלית בלבד כך שפרומפטים בעברית יפיקו תוצאות שבורות או שגויות. בנוסף, מודלים שמשלבים ארכיטקטורות שונות סובלים לפעמים מעיוותים בתנועה מהירה, ואין כאן אפשרות לערוך או לתקן חלקים מתוך הווידאו שנוצר.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום כלשהו?
לא, הגישה דרך הדפדפן חופשית לחלוטין ואינה דורשת תשלום. המשאבים ממומנים על גבי תשתית Spaces בענן של Hugging Face. כל מה שצריך זה לפתוח את הקישור ולהריץ.
כמה זמן לוקח לייצר סרטון מרגע הלחיצה?
משך הזמן נע בין שניות בודדות לחצי דקה, בהתאם למספר הצעדים שהגדרתם בסליידרים. אם המעבד הגרפי היה כבוי, תיתכן המתנה ראשונית קצרה של עד דקה להתנעת החומרה. בשעות עומס ייתכן שתמתינו בתור קצר של משתמשים אחרים.
האם אפשר להריץ את המערכת הזו מקומית על המחשב שלי?
כן, הקוד מבוסס על ספריות פתוחות כמו diffusers ו־torch וזמין ברישיון חופשי. עם זאת, תצטרכו כרטיס מסך חזק של Nvidia עם מספיק זיכרון כדי לטעון את כל המשקולות, שכוללות את T5 ו־VideoCrafter2. התקנה מקומית תדרוש מכם ידע בהרצת סביבות פייתון.
במה הממשק הזה שונה מהרצת המודל ישירות בקוד?
הממשק בדפדפן עוטף את המודל ומגביל אתכם לערכים קבועים של רזולוציה ואורך קליפ קבוע מראש. בקוד ישיר יש לכם שליטה מלאה על רזולוציית הפלט, שיטות הדגימה ושרשור פעולות נוספות בעיבוד תמונה. הממשק הזה נועד לבדיקה ויזואלית מהירה בלבד בלי לכתוב שורת קוד.
איך משתמשים
בוחרים דוגמה מוכנה או מקלידים פרומפט, מכוונים את הסליידרים של ההנחיה והצעדים, ולוחצים על כפתור ההרצה. העיבוד רץ על מאיץ גרפי מסוג zero-a10g שמוקצה לפי דרישה בענן של Hugging Face. זה אומר שאם המאיץ במצב שינה תצטרכו להמתין כמה שניות להתעוררות שלו, ואם יש עומס משתמשים תעמדו בתור. הגנרציה עצמה לוקחת בדרך כלל בין כמה שניות לחצי דקה, בהתאם למספר הצעדים שבחרתם.
הרישיון
הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד כולל התאמות ושימוש מסחרי, בכפוף לתנאי הרישיון המקוריים ושמירת זכויות היוצרים. עם זאת, יש לשים לב שהכלי נשען על משקולות של מודלים חיצוניים כמו VideoCrafter2 ומודלי T5, ולכל אחד מהם עשויות להיות מגבלות שימוש משלו על התוצרים שמופקים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים