VEO3-Directors

מה זה

בשלב הראשון בוחרים קטגוריות או כותבים רעיון, ומשם מייצרים תסריט בעזרת צ'אט שמפרט סביבה, דמויות ותנועה. הטקסט הזה עובר ללשונית הווידאו, שבה אפשר להגדיר מידות, משך זמן, צעדי דגימה והנחיות שליליות, לצד אפשרות להפקת אודיו אוטומטית.

מאחורי הקלעים הקוד משלב את מודל הווידאו Wan2.1 בגרסת 14B יחד עם משקולות של Wan14BT2VFusioniX ושיטת NAG להאצה. על יצירת הקול אחראית ספריית MMAudio, ובשלב התסריט מעורבים מודלים ממשפחת Gemma 3, חלקם דרך שירות חיצוני בשם Friendli.

מתאים ל

• פיתוח רעיונות לסצנות

  מייצרים רעיון ראשוני בעזרת המודלים של ג'מה ובונים תיאור מפורט של דמויות ותאורה.

• הפקת קליפים עם סאונד

  מייצרים וידאו קצר מבוסס Wan2.1 יחד עם פס קול מסונכרן שנוצר ישירות ב־MMAudio.

• בדיקת פרומפטים בשיטת NAG

  מריצים טקסט וידאו עם הגדרות שליליות מתקדמות כדי לראות איך המודל מגיב למעט צעדי דגימה.

איפה זה נופל

ההגבלה הראשונה והקריטית היא שהעמוד מושהה ולא פעיל כרגע. מעבר לכך, טווח הפריימים בקוד נע בין 8 ל־129 בלבד, כך שמקבלים סרטונים של שניות בודדות ולא סרטים באורך מלא. בנוסף, הממשק כולל תיבת בחירה לקוריאנית, ולא ברור אם המערכת תבין עברית באופן מלא בהנחיות הטקסטואליות בלי לשבש את התוצאה.

איך משתמשים

לוחצים על יצירת רעיון, מעבירים אותו לצ'אט להרחבת התסריט, ואז שולחים את הפרומפט הסופי למחולל הווידאו ולוחצים על הפקה. האפליקציה רצה כרגע על מעבד רגיל של שרת חינמי, והיא מוגדרת במצב מושהה. במצב כזה אי אפשר להריץ אותה בדפדפן בלי להעיר אותה או לשכפל אותה לסביבה עם כרטיס גרפי חזק, כי עיבוד של 14B פרמטרים ומודל אודיו על מעבד כזה פשוט יקרוס או ייקח שעות.

הרישיון

הרישיון לא דווח בעמוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, וכל מי שמתכנן להשתמש בזה לעבודה מקצועית לוקח סיכון זכויות יוצרים.

הרישיון המלא ב־Hugging Face ↗