Tune-A-Video-Training-UI

מה זה

האפליקציה מחלקת את העבודה ללשוניות נפרדות של אימון, הרצה, והעלאת קבצים. מעלים סרטון קצר יחד עם תיאור טקסטואלי, והקוד מאמן שכבות קשב כדי ללמוד את התנועה והתוכן שלו. לאחר מכן מייצרים סרטונים חדשים לגמרי בעזרת פרומפטים שונים, תוך שמירה על דפוס התנועה המקורי מהווידאו שהזנתם.

מאחורי הקלעים רץ שילוב של CompVis/stable-diffusion-v1-4 לבסיס התמונה יחד עם המשקולות של Tune-A-Video-library/a-man-is-surfing שמופיע כדוגמה מוכנה. בממשק יש גם לשונית ניטור מערכת לצפייה במשאבים ובלוגים בזמן אמת.

מתאים ל

• אימון תנועה מווידאו בודד

  מעלים קליפ קצר עם תיאור טקסט, ומאמנים את המודל לחקות את מבנה התנועה שבו.

• יצירת סרטון חדש מטקסט

  מריצים בלשונית הריצה פרומפט חדש על בסיס מודל הגלישה המאומן מראש.

• מעקב אחרי משאבי המערכת

  בודקים בלשונית הניטור את ניצול החומרה והזיכרון בזמן ריצת התהליכים.

איפה זה נופל

כרגע הממשק נמצא במצב של תקלת זמן ריצה, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד או לבנות את הדוקר מחדש. בנוסף, הקצאת מעבד פשוט ללא כרטיס מסך ייעודי הופכת אימון מודלים מבוססי דיפיוז'ן לבלתי מעשיים לחלוטין ברמת הביצועים.

איך משתמשים

בפועל נכנסים לדפדפן, עוברים בין הלשוניות של Train ו־Run, מזינים את הטקסט והווידאו ולוחצים על הפעלה. המרחב מוגדר על חומרת cpu-basic חלשה מאוד, כך שאימון מלא או אפילו הרצת הסקת מסקנות על מעבד כזה פשוט לא יזוזו בקצב סביר וידרשו שעות, אם בכלל יצליחו להסתיים בלי לקרוס.

הרישיון

הפרויקט מופץ תחת רישיון mit שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בקוד. לגבי התוצרים והסרטונים שמעלים, הזכויות תלויות בהגבלות של מודל הבסיס Stable Diffusion 1.4.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗