Tune-A-Video-inference

מה זה

הממשק מציע רשימה סגורה של שלושה מודלים מכווננים: גולש גלים, דוב מנגן בגיטרה וגולש סקי. אתם בוחרים מודל מתוך הרשימה, רואים באיזה מודל בסיס ובאיזה פרומפט השתמשו כדי לאמן אותו, ומקלידים תיאור טקסט חדש שמנסה לשנות את הדמות או את הפעולה.

חוץ מהטקסט, שולטים באורך הסרטון בין 4 ל־12 פריימים, בקצב של 1 עד 12 פריימים לשנייה, בסיד ובהגדרות דיפוזיה רגילות כמו מספר צעדים ודיוק הנחיה. הפלט שמתקבל בצד הוא קובץ וידאו קצר שמבוסס על היכולת של Tune-A-Video להעביר תנועה מווידאו מקור לווידאו חדש לפי הטקסט שהזנתם.

הקוד כולל דוגמאות מוכנות שנטענות ישירות לממשק כדי שאפשר יהיה לבדוק תוצאות בלי להמציא פרמטרים מאפס. המערכת מציגה גם את כרטיס המודל המקורי כדי להבין מאיזה וידאו הוא למד את התנועה מראש.

מתאים ל

• בדיקת שינוי סגנון ודמות

  מזינים פרומפט חדש על מודל קיים ובודקים איך תנועת גלישת הגלים משתנה לדמות אחרת.

• הערכת ביצועי וידאו קצר

  בוחנים את יציבות הפריימים בין 4 ל־12 תמונות בעזרת שינוי קצב הפריימים והצעדים.

• שכפול קוד לסביבה פרטית

  משתמשים בכפתור השכפול כדי להעביר את האפליקציה למכונה עם כרטיס מסך חזק יותר.

איפה זה נופל

זה לא כלי שמאפשר לכם להעלות סרטון משלכם ולאמן מודל חדש בדפדפן. אתם מוגבלים לחלוטין לשלושת המודלים הספציפיים שהוטענו מראש בקוד, כך שאי אפשר להפיק סצנות שחורגות מגלישת גלים, סקי או דוב עם גיטרה. בנוסף, הסרטונים מוגבלים לעד 12 פריימים, מה שמייצר בפועל אנימציה קצרה מאוד של שניות בודדות ולא וידאו מלא. אי אפשר לדעת מהאינטרפייס איך המודל יתנהג על תוכן אחר לגמרי.

איך משתמשים

נכנסים לעמוד, בוחרים מודל מהתפריט, כותבים פרומפט ולוחצים על כפתור היצירה. אין צורך להירשם או לשלם, אבל המרחב נמצא כרגע במצב שינה ורץ על חומרת מעבד בסיסית בלבד. זה אומר שאם תעירו אותו, יצירת וידאו ברשת כבדה כזו על מעבד רגיל תהיה אטית מאוד וכנראה תדרוש מכם לשכפל את המרחב לחומרה עם מעבד גרפי כדי לקבל תוצאה סבירה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. הרישיון חופשי לחלוטין ומאפשר שימוש, שינוי והפצה, כולל שימוש מסחרי בקוד. לגבי הסרטונים שנוצרים או המודלים שהוטענו, אין פירוט נוסף מעבר לתנאי הרישיון הכלליים של הקוד עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗