Tune-A-Video

מה זה

אתם כותבים תיאור טקסטואלי, בוחרים מודל מתוך תפריט נפתח, ומקבלים קובץ וידאו מונפש בתצוגת גיף. הממשק מציע רשימת מודלים מוכרים כמו גרסאות שונות של סטייבל דיפיוז'ן, אופן ג'רני, ודגמי דרימבוט כמו דרימלייק לפוטוריאליזם או איורים.

מאחורי הקלעים הקוד טוען מודל יוניט תלת ממדי שאומן על סרטון גלישה, ומשלב אותו עם צינור העבודה של טיון א וידאו כדי לחולל תנועה עקבית. יש בממשק גם דוגמאות מוכנות שמציגות פרומפטים מותאמים למודלים הספציפיים, כדי להראות איך לגשת לשמות האובייקטים שהוטמעו בהם.

מתאים ל

• בדיקת פרומפטים בווידאו

  השוואה מהירה בין תיאורי טקסט שונים על גבי מודל תנועה מוכן מראש.

• השוואת מודלי דיפיוז'ן

  בחינת ההבדלים בין אופן ג'רני לדרימלייק ביצירת אנימציה קצרה.

• לימוד קוד המימוש

  בדיקת אופן החיבור בין יוניט תלת ממדי לצינור של טיון א וידאו.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט קורסת ולא עובדת ברשת כרגע. מעבר לכך, היא לא מאמנת סרטון חדש שלכם מאפס אלא נשענת על משקלי יוניט ספציפיים שהוגדרו מראש בקוד, כך שמרחב התנועה מוגבל מאוד ביחס להבטחה המקורית של המחקר.

איך משתמשים

בוחרים מודל, מקלידים פרומפט, מכוונים את הסליידרים השונים להגדרות הריצה ולוחצים על כפתור ההפעלה. אין צורך בחשבון כדי להסתכל, אבל בפועל הספייס נמצא במצב שגיאת ריצה ולכן אי אפשר להריץ בו כרגע יצירה חיה על חומרת טי 4 בלי לתקן אותו.

הרישיון

הקוד פתוח תחת רישיון אמ אי טי, שמתיר שימוש חופשי, שינוי והפצה כולל מסחרית. לגבי התוצרים והטקסטים, השימוש תלוי גם ברישיונות הבסיס של מודלי הדיפיוז'ן השונים שנטענים במערכת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗