SEINE

מה זה

מעלים תמונת מקור אחת, מקלידים תיאור טקסטואלי של התנועה הרצויה, ומקבלים קובץ וידאו מונפש. הממשק מאפשר לקבוע את שיטת הדגימה בין DDPM לבין DDIM, לבחור כמות צעדים שנעה בין 50 ל־300, ולהגדיר רוחב וגובה לפי מידות שנעות בין פיקסל בודד ל־2000 פיקסלים. יש גם אפשרות לקבוע סיד מספרי לשחזור תוצאות.

מאחורי הקלעים רץ שילוב של מודל הווידאו הייעודי יחד עם רכיבי Stable Diffusion 1.4 וטקסט מקודד ב־CLIP. הקוד כולל תמיכה במנגנוני Inpainting ומסכות, כך שהאלגוריתם מנחש את הפריימים העוקבים על בסיס תמונת הקלט. הדוגמה המובנית מציגה תמונת ים עם הנחיה ליצירת וידאו של יופי הים ברזולוציה של 560 על 240 פיקסלים בחמישים צעדים.

מתאים ל

• הנפשת תמונות נוף

  הפיכת צילום סטילס יחיד של ים או טבע לקטע וידאו קצר באמצעות הנחיית טקסט מתאימה.

• בדיקת פרמטרים לדגימה

  השוואת איכות התנועה בין שיטות DDIM ו־DDPM במספרי צעדים שונים מול תמונת מקור קבועה.

• בחינת יכולות מודל וידאו

  בדיקה מעשית של ארכיטקטורת המודל על תמונות אישיות לפני שמורידים את המשקלים למחשב.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט קורסת ולא פועלת בעמוד שלה. בנוסף, אף שהסליידרים מאפשרים להזין ממדים קיצוניים עד 2000 פיקסלים, המודל אומן על מידות נמוכות בהרבה, כך שניסיון להפיק רזולוציה גבוהה יוביל לעיוותים חמורים או לקריסת זיכרון. הממשק כאן מוגבל רק למעבר מתמונה לווידאו, ולא מאפשר ליצור מעברים בין שתי תמונות שונות, למרות שהמחקר והקוד המקוריים תומכים ביכולת מעבר כזאת.

איך משתמשים

לוחצים על כפתור Generate video לאחר הזנת התמונה, הטקסט והפרמטרים, אבל נכון לעכשיו אי אפשר להריץ את העיבוד בדפדפן. המופע נמצא במצב של שגיאת ריצה, ולכן הניסיון מייצר שגיאה במקום סרטון. בחומרה שהוקצתה לו, מעבד גרפי מדגם A10G Large, רינדור של 100 צעדים ומעלה היה לוקח כנראה דקה או יותר לכל סרטון, אך כרגע השרת המארח פשוט לא מעלה את הממשק לפעולה תקינה.

הרישיון

הרישיון לא דווח בעמוד של המאגר. בלי הגדרת רישיון רשמית, השימוש המסחרי אסור או נתון בספק משפטי, ולא ברור מי מחזיק בזכויות על קובצי הווידאו שנוצרים.

הרישיון המלא ב־Hugging Face ↗