StreamingT2V — הדגמה
קוד פתוחPAIRרישיון לא דווח2024-04-03
הדגמה ליצירת סרטוני וידאו ארוכים מטקסט או מתמונה, ששומרת על תנועה ועקביות לאורך זמן. מיועדת לחוקרים וליוצרים שרוצים לבחון שיטות הרחבה למודלי וידאו קיימים.
- 23.8 GBמשקל הקבצים
- —הורדות בחודש
- 166לייקים
מה זה
האפליקציה מקבלת תיאור טקסטואלי או תמונת פתיחה, ומייצרת סרטון וידאו בפורמט MP4. מתחת למכסה המנוע רצה שיטה אוטורגרסיבית שמחברת מודלים מוכרים ליצירת וידאו, כמו AnimateDiff, ModelScopeT2V או Stable Video Diffusion, עם מודלי תמונה כמו Stable Diffusion XL כדי לייצר את הבסיס ולהמשיך אותו ברצף.
בממשק תמצאו דוגמאות מובנות שמציגות סרטונים של 56 פריימים, שנוצרו מהנחיות טקסט או מתמונות של דג וסנאי. המערכת מציגה שתי רמות פלט, תצוגה מקדימה מהירה וגרסה מעובדת באיכות מלאה שמגיעה לרזולוציה של 1280 על 720 פיקסלים בעזרת מודל שדרוג ייעודי.
מתאים ל
- יצירת סרטוני וידאו מטקסט
מזינים תיאור מילולי ומפיקים רצף וידאו קצר בעזרת מודלים כמו AnimateDiff ישירות מהדפדפן.
- הנפשת תמונות סטילס
מעלים תמונת בסיס ומרחיבים אותה לסרטון של עשרות פריימים עם מודל Stable Video Diffusion.
- בדיקת איכות של מודלי בסיס
משווים בין מנועי יצירת וידאו שונים תחת אותה שיטת הרחבה אוטורגרסיבית.
איפה זה נופל
ההדגמה הנוכחית שבורה ואינה עובדת ברשת, כך שלא תוכלו להריץ אותה ישירות בלי להוריד את הקוד למחשב. מעבר לזה, הממשק עצמו מגביל ריצות רשת לעד 56 פריימים וממליץ במפורש לעבור לחומרה מקומית לכל מה שמעבר, מה שאומר שסרטונים של שתי דקות ו־1200 פריימים לא באמת ניתנים להפקה בעמוד הזה.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. האפליקציה נמצאת במצב שגיאת ריצה, ולכן לא ניתן להפיק דרכה סרטונים חדשים בעמוד כרגע.
כמה פריימים אפשר לייצר כאן?
הממשק מאפשר בחירה של בין 24 ל־56 פריימים לריצה בענן. אפשרויות ארוכות יותר, של עד 1200 פריימים, מיועדות להרצה מקומית על מחשב ייעודי בלבד.
האם ניתן להריץ את הכלי על מחשב אישי?
כן. הקוד זמין בגיטהאב וניתן להתקנה מקומית באמצעות פייתון, כרטיס מסך מתאים עם קודה וסביבת עבודה ייעודית.
איך מריצים
בוחרים את מספר הפריימים הרצוי, מקלידים תיאור, ואם רוצים לעבוד עם תמונה בוחרים מודל מתאים בהגדרות המתקדמות ומעלים קובץ. לוחצים על כפתור התצוגה המקדימה או על יצירת הווידאו המלאה. אף שהסביבה מוגדרת על שרת חזק עם ארבעה כרטיסי A10G, כרגע האפליקציה נמצאת במצב שגיאה ולא מגיבה בדפדפן.
pip install -U huggingface_hub hf download PAIR/StreamingT2V
הקבצים
5 קבצים במאגר, 23.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד עצמו פורסם תחת רישיון CreativeML Open RAIL-M, אך בעמוד המרחב הרשמי לא דווח רישיון ספציפי עבור ההדגמה עצמה. בנוסף, רכיבים חיצוניים שמופעלים שם, כמו רכיבי מחקר שונים, כפופים לרישיונות המקוריים שלהם, מה שמחייב בדיקה נפרדת לפני שימוש מסחרי בתוצרים.