DynamiCrafter

מה זה

מזינים תמונת סטילס וטקסט שמתאר את התנועה הרצויה, והדף מייצר קובץ וידאו ביחס של 576 על 1024. אפשר לשלוט על פרמטרים כמו מספר צעדי הדגימה בין 1 ל־50, מדד ה־CFG, קצב פריימים בין 5 ל־20 לשנייה וערך סיד לקבלת תוצאה עקבית. יש בממשק גם דוגמאות מוכנות מראש שאפשר להפעיל מיד כדי לראות איך זה מתנהג.

מאחורי הקלעים רצים המודלים של DynamiCrafter, שמסתמכים על מודלי פענוח שפה ותמונה כמו סדרת google t5 ורכיב clip של openai. הטכניקה מנצלת ידע קודם ממודלי דיפוזיה של וידאו כדי לחזות תנועה הגיונית מתוך תמונת מקור פתוחה.

מתאים ל

• הנפשת תמונות סטילס

  הופכים איורים או צילומים רגילים לקטעי וידאו קצרים ברזולוציית 576 על 1024.

• בדיקת תנועה לפי טקסט

  בוחנים כיצד הנחיות טקסט שונות משפיעות על כיוון וסוג התנועה של אותה תמונת בסיס.

• ניסוי בפרמטרי דיפוזיה

  משחקים עם כמות הצעדים, ה־CFG והסיד כדי להבין את השפעתם על יציבות הווידאו.

איפה זה נופל

ההדגמה מוגבלת לרזולוציה ספציפית של 576 על 1024, כך שתמונות ביחס ממדים אחר ייחתכו או יאבדו פרטים. בנוסף, חומרת שרת שיתופית עלולה להיתקע בעומסים או לקטוע את הריצה אם חורגים מזמן ההקצאה. התוצאות מהדוגמאות המוכנות שמורות מראש במטמון, ולכן הן לא תמיד מייצגות את זמן ההמתנה והדיוק שתקבלו עם תמונות מקוריות ומורכבות.

איך משתמשים

טוענים תמונה לחלון המיועד, רושמים תיאור תנועה ולוחצים על Generate. העיבוד רץ על חומרת zero-a10g, אבל האפליקציה נמצאת כרגע במצב שינה, כך שההפעלה הראשונה תדרוש המתנה של דקה או שתיים עד שהשרת יתעורר ויוריד את המשקלים. לאחר מכן, זמן הייצור פר קליפ תלוי ישירות במספר הצעדים שתגדירו בסליידר.

הרישיון

הרישיון של המרחב מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר. לפני שמשתמשים בסרטונים שנוצרו לצרכים מסחריים, חובה לבדוק את תנאי המודל המקוריים של Doubiiu במאגר כדי לא להפר זכויות יוצרים.

הרישיון המלא ב־Hugging Face ↗