חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
M

MotionDirector

רץ בדפדפן

ruizhaocvapache-2.02023-12-08

  • gradio

מייצרים כאן סרטוני וידאו קצרים מטקסט בעזרת שכבת התנועה של MotionDirector על גבי ZeroScope. זה מיועד למי שרוצה לבדוק שליטה בתנועה בלי להרים סביבת פיתוח שלמה.

  • —הורדות בחודש
  • 92לייקים

מה זה

מזינים תיאור טקסטואלי, פרומפט שלילי אם רוצים לדייק, ובוחרים מודל מתוך הרשימה. הממשק מאפשר לקבוע גם את מספר צעדי הדגימה עם ברירת מחדל של 30, את ה־guidance scale שמוגדר מראש ל־12, וסיד קבוע. הפלט הוא סרטון MP4 שנוצר ישירות מהטקסט.

מאחורי הקלעים רץ המודל cerspense/zeroscope_v2_576w יחד עם המשקולות המאומנות של ruizhaocv/MotionDirector. יש כאן גם אפשרות לסמן תיבת בחירה ולקבל סרטון נוסף להשוואה, שנוצר מה־ZeroScope הבסיסי באותו סיד בדיוק, לצד רשימת דוגמאות מובנות בעמוד.

מתאים ל

  • השוואת תנועה לבסיס

    מייצרים סרטון עם ובלי MotionDirector באותו סיד כדי לראות איך האלגוריתם משפיע על התוצאה של ZeroScope.

  • בדיקת פרומפטים בווידאו

    מזינים טקסט באנגלית ובודקים אם המודל מצליח לייצר סרטון קצר שתואם לתיאור.

  • התנסות בפרמטרים

    משנים ערכי guidance scale ומספר צעדי דגימה כדי לראות את ההשפעה על חדות הווידאו.

איפה זה נופל

המגבלה הכי בולטת כרגע היא שהאפליקציה פשוט לא עובדת ומדווחת על RUNTIME_ERROR. בנוסף, אתם מוגבלים למודלים המאומנים מראש שמופיעים ברשימה ולא יכולים לאמן כאן תנועות חדשות מווידאו משלכם. ההשוואה למודל הבסיס מעניינת, אבל היא מוגבלת רק ל־ZeroScope ברזולוציה שנקבעה לו.

שאלות
נפוצות

האם האפליקציה זמינה לשימוש עכשיו בדפדפן?

לא. המצב שלה מוגדר כ־RUNTIME_ERROR, כלומר הקוד נכשל בעלייה והממשק לא יכול לייצר סרטונים כרגע.

כמה זמן לוקח לייצר סרטון?

הזמן תלוי בחומרה שעליה היא יושבת, a10g-large, ובמספר הצעדים שמוגדר כברירת מחדל ל־30. אם מסמנים את האפשרות להשוות מול הבסיס, זמן ההמתנה מוכפל.

האם אפשר להריץ את זה באופן עצמאי?

כן, הקוד מבוסס על ספריות פתוחות ורישיון apache-2.0, והוא מושך משקולות מ־Hugging Face של zeroscope_v2_576w ושל MotionDirector. תצטרכו כרטיס מסך מתאים כדי להריץ את שני המודלים.

אפשר להעלות סרטון שלי כדי לאמן תנועה חדשה?

לא דרך הממשק הזה. כאן אפשר רק להזין טקסט ולבחור מודל מוכן מתוך הרשימה, בלי אפשרות להעלות קובצי וידאו מקוריים.

איך משתמשים

לוחצים על Generate אחרי הזנת הטקסט והפרמטרים. אם בוחרים לייצר גם את סרטון ההשוואה של הבסיס, זמן הריצה מוכפל לפי מה שכתוב בממשק. האפליקציה רצה על חומרת a10g-large, אבל כרגע היא במצב שגיאת ריצה ולא תייצר שום דבר בדפדפן עד שיתקנו אותה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינויים והפצה של הקוד. אין במסמכים פירוט מיוחד לגבי זכויות יוצרים על הסרטונים שנוצרים דרך הממשק.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗