makeavid-sd-jax

מה זה

מזינים טקסט שמתאר את הסצנה, פרומפט שלילי, ואפשר להעלות גם תמונת מקור כדי להנחות את התוצאה. הממשק מאפשר לקבוע הגדרות כמו גובה ורוחב, מספר צעדי עיבוד, כמות פריימים, קצב תמונות לשנייה וסוג מתזמן. הפלט מחזיר את הסרטון בפורמט שנבחר, יחד עם תצוגה נפרדת של הפריים הראשון והפריים האחרון שנוצרו.

מאחורי הקלעים רץ שילוב של המודל של טמפופאנק יחד עם סטייבל דיפיוז'ן 1.5 של ראנוויי, תוך שימוש בספריית ג'קס ואימון שנשען על מאגרי נתונים ייעודיים לתנועה. בדף יש דוגמאות מוכנות שנטענות מראש, ומאפשרות לראות שילובים שונים של הגדרות ותמונות פתיחה.

מתאים ל

• בדיקת אנימציה מתמונה

  מעלים תמונת סטילס ומוסיפים תיאור טקסט כדי לראות איך המערכת מנסה להזיז אותה.

• שרשור סרטונים רציף

  לוקחים את הפריים האחרון שנוצר ומכניסים אותו כקלט לסרטון הבא כדי לייצר המשכיות.

• בחינת מודלים בג'קס

  בודקים איך מימוש של מודל וידאו מתנהג על סביבת ג'קס מבחינת זמני הידור והגדרות.

איפה זה נופל

הבעיה המיידית היא שהיישום נמצא במצב תקלה ולא עובד כרגע. מעבר לזה, המודל מבוסס על גרסה מוקדמת של סטייבל דיפיוז'ן, ולכן יצירת וידאו ממנו נוטה לייצר עיוותים וקטיעות בין פריימים. שינויי פרמטרים גורמים להמתנה ממושכת על הידור, והתוצאות רחוקות מאיכות של מודלים מסחריים מודרניים.

איך משתמשים

בוחרים פרמטרים, מקלידים הנחיה ולוחצים על הכפתור הראשי כדי להתחיל. הביצוע רץ על חומרת A10G, אבל בגלל שהקוד נשען על ג'קס, שינוי של הרזולוציה או כמות הפריימים מחייב הידור מחדש שלוקח זמן נוסף. נכון לעכשיו העמוד מדווח על שגיאת ריצה, כך שאי אפשר להפיק סרטונים ישירות בדפדפן בלי שהתקלה תתוקן.

הרישיון

הקוד מופץ תחת רישיון אגפ״ל 3.0, שמחייב שיתוף קוד פתוח תחת אותו רישיון בכל שימוש או שינוי. לגבי התמונות שמעלים או הסרטונים שמייצרים, אין פירוט נוסף מעבר לתנאי הרישיון של המודלים המקוריים.

הרישיון המלא ב־Hugging Face ↗