Text-to-Video_Playground
רץ בדפדפןNeuralInternetרישיון לא דווח2023-03-19
מקלידים תיאור טקסטואלי קצר ומקבלים סרטון וידאו שנוצר ישירות מהמילים שלכם. הממשק מיועד למי שרוצה לבדוק יצירת וידאו מטקסט בלי להסתבך עם התקנות מקומיות.
- —הורדות בחודש
- 135לייקים
מה זה
מזינים משפט באנגלית בשדה הטקסט, בוחרים ערך מספרי בבורר הסיד כדי לשלוט באקראיות התוצאה, ולוחצים על הכפתור. בצד השני של המסך מופיע נגן עם קובץ הווידאו המוכן, יחד עם שורת דוגמאות מוכנות מראש שאפשר להפעיל בלחיצה מהירה כדי לראות מה המערכת מייצרת.
מאחורי הקלעים הקוד מושך ומריץ את המודל modelscope-damo-text-to-video-synthesis של עליבאבא דרך הספרייה הרשמית של modelscope בפייתון. זהו מודל דיפוזיה שמחבר רצף פריימים סביב הרעיון המילולי שסיפקתם, תוך ניסיון לשמור על עקביות תנועתית בין תמונה לתמונה לאורך כל הסרטון.
מתאים ל
- בדיקת רעיונות ויזואליים
רואים איך מודל וידאו ראשוני מפרש תיאור קצר של פעולה או סצנה פשוטה.
- למידת קוד gradio
בודקים בקוד המקור איך בונים ממשק פייתון קצר שמחובר לצינור של modelscope.
- השוואת ביצועים מקומית
משכפלים את הקוד למחשב עם כרטיס מסך כדי למדוד זמני יצירת וידאו בפועל.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה במצב מושהה ולא פעילה ברשת. מעבר לזה, ההגדרה של מעבד רגיל במקום כרטיס גרפי הופכת יצירת פריימים לעסק שזוחל או נתקע, כך שהדוגמה המקוונת לא משקפת את המהירות האמיתית שרואים בחומרה מתאימה. אין כאן אפשרויות לקבוע אורך, לשנות רזולוציה או לערוך את הפריימים שנוצרו.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, המרחב נמצא כרגע במצב מושהה על ידי הבעלים. כדי להשתמש בו צריך לשכפל את הקוד למרחב פרטי משלכם או להריץ אותו מקומית.
האם השימוש כרוך בתשלום?
הקוד פתוח לצפייה ללא עלות, אבל הפעלת המרחב בעצמכם תדרוש משאבי מחשוב. אם תריצו אותו על גבי מעבדים גרפיים בענן של הגינג פייס, זה עשוי לעלות כסף לפי שעות שימוש.
כמה זמן לוקח לכל סרטון להיווצר?
בחומרה המקורית שמוגדרת כאן מדובר במעבד רגיל, ולכן התהליך איטי מאוד ויכול לקחת דקות ארוכות לכל שבריר וידאו. בסביבה עם כרטיס מסך ייעודי התוצאה מתקבלת מהר בהרבה.
מה קורה עם הטקסט שאני מקליד?
הטקסט נשלח ישירות לפונקציית העיבוד של המודל כדי לייצר את הסרטון. הממשק שומר דוגמאות בזיכרון המטמון של השרת, אך אין כאן מאגר משתמשים נפרד או רישום חשבונות.
איך משתמשים
לוחצים על כפתור ההרצה וממתינים לקובץ הסופי. המרחב מוגדר על מעבד בסיסי בלבד וללא מאיץ גרפי ייעודי, מה שהופך עיבוד וידאו כבד לפעולה איטית להחריד בהשוואה לכרטיסי מסך מודרניים. כרגע האפליקציה נמצאת במצב מושהה, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להעיר או לשכפל אותה לחשבון שלכם.
הרישיון
היוצרים לא ציינו רישיון מפורש בקוד או בהגדרות המרחב. בלי רישיון ברור לא מומלץ להשתמש בתוצרים לצרכים מסחריים, וצריך לבדוק בנפרד את תנאי השימוש של מודל הבסיס של עליבאבא לפני שמשלבים את הווידאו בפרויקט פתוח.