modelscope-text-to-video-synthesis
רץ בדפדפןali-vilabרישיון לא דווח2023-03-19
מזינים תיאור טקסטואלי קצר ומקבלים קובץ וידאו שנוצר על ידי מודל דיפוזיה. היא מיועדת בעיקר למי שרוצה לבדוק את היכולות הבסיסיות של יצירת וידאו מטקסט ישירות בדפדפן.
- —הורדות בחודש
- 1,454לייקים
מה זה
הממשק מבוסס על Gradio ומציע תיבת טקסט פשוטה להזנת הפרומפט, לצד כפתור הפעלה ותיבת תוצאה שמציגה את הווידאו המוכן. מאחורי הקלעים הקוד טוען מודל דיפוזיה בשם text-to-video-ms-1.7b של damo-vilab דרך ספריית diffusers, ומשתמש ב־DPMSolverMultistepScheduler לייצור הפריימים.
בהגדרות המתקדמות אפשר לשלוט בכמות הפריימים, בערך ה־seed ובמספר צעדי הדגימה (inference steps). הדף כולל גם דוגמאות מובנות להרצה מהירה שמדגימות יצירת סרטונים קצרים מתיאורים מוכנים מראש, לצד הבהרות לגבי הטיות ותכנים שהמודל עלול לייצר.
מתאים ל
- ניסוי מהיר ביצירת וידאו
בדיקת היכולת להפיק תנועה וויזואליה ראשונית מתוך משפט טקסט פשוט.
- בחינת שליטה בפרמטרים
השוואת תוצאות לפי שינוי מספר צעדי הדגימה, הסיד וכמות הפריימים.
- הערכת ביצועי מודל 1.7B
הבנת היכולות והמגבלות של מודל הווידאו של עליבאבא מסוף מרץ 2023.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה שבורה לחלוטין ומציגה שגיאת מערכת, כך שאי אפשר להשתמש בה בפועל דרך הדפדפן. מעבר לזה, המודל עצמו מוגבל לפריימים ספורים ולרזולוציה בסיסית, כך שלא מדובר בהפקת וידאו מורכבת או ממושכת, אלא בהדגמה מוקדמת שמייצרת קטעים קצרים מאוד של שניות בודדות.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. המצב שלה מוגדר כשגיאת ריצה, ולכן אי אפשר להריץ פרומפטים או לייצר סרטונים בעמוד. כדי להשתמש במודל תצטרכו להוריד את הקוד ולהריץ אותו בסביבה משלכם.
כמה עולה להשתמש בה?
השימוש בממשק עצמו לא דורש תשלום כלשהו. עם זאת, בגלל שהיא לא פעילה כרגע, האפשרות הזו תיאורטית בלבד. אם תרצו להרים אותה עצמאית, תצטרכו לשלם על חומרה מתאימה.
האם אפשר להריץ את זה מקומית?
כן, הקוד מסתמך על חבילת diffusers הסטנדרטית וטוען את המשקלים מ־Hugging Face. תצטרכו כרטיס מסך עם זיכרון מספק כדי להחזיק את מודל 1.7B ולבצע את החישובים.
במה הממשק שונה מהרצת המודל ישירות בקוד?
הממשק רק מספק מעטפת גרפית פשוטה שמנגישה תיבת טקסט וכמה סליידרים להגדרות כמו צעדים ופריימים. בהרצה ישירה בקוד יש לכם שליטה מלאה על הצינור, הרזולוציה, ועיבוד הווידאו שמתקבל.
איך משתמשים
מקלידים הנחיה באנגלית, פותחים את ההגדרות המתקדמות אם רוצים לשנות את כמות הצעדים או הפריימים, ולוחצים על Generate video. כשהיא עובדת, העיבוד נעשה על גבי מעבד גרפי יחיד מסוג L4. כרגע לא תצליחו לייצר בה כלום, כי העמוד נמצא במצב של תקלת ריצה (RUNTIME_ERROR) ולא מגיב לפקודות.
הרישיון
הרישיון לא דווח בדף המאגר. המשמעות היא שאין תנאי שימוש ברורים לגבי הפלט או זכויות השימוש המסחרי בסרטונים שנוצרים, ואי אפשר לדעת אם הקוד והמשקלים פתוחים לשימוש חופשי.