Vchitect-2.0

מה זה

מזינים תיאור טקסטואלי באנגלית בתיבת הקלט ומקבלים קובץ וידאו בנגן בגודל של 768 על 432 פיקסלים, יחד עם אפשרות להוריד אותו כקובץ וידאו רגיל או כאנימציית גיף. אין כאן הגדרות מתקדמות שפתוחות כרגע לשינוי, והפרמטרים של כמות הצעדים או עוצמת ההנחיה הושארו מחוץ להישג ידו של המשתמש בעמוד הנוכחי.

מאחורי הקלעים הקוד מריץ את VchitectXLPipeline יחד עם המודל Vchitect 2.0 2B, שמבוסס על שילוב של מודלי שפה וראייה. הוא משתמש בטוקנייזרים ומקודדי טקסט כבדים כמו T5 בגודל XXL לצד רכיבי CLIP של גוגל, OpenAI ו־LAION, כדי לפרק את הטקסט ולהבין אותו לעומק לפני שלב הדיפוזיה. תהליך הדגימה מתבצע דרך מתזמן FlowMatchEulerDiscreteScheduler וטכניקות מעולם הדיפוזיה של Stable Diffusion 3, כדי לייצר רצף פריימים עקבי שנשמר לבסוף לקובץ מקומי.

מתאים ל

• בדיקת איכות של המודל

  מזינים הנחיות טקסט שונות כדי לראות איך המודל מתמודד עם תנועה פיזיקלית ומצלמה.

• הפקת גיפים קצרים

  יצירת קובצי אנימציה קלים להורדה ישירה מתוך תיאור טקסטואלי.

• הדגמת וידאו מהירה

  בדיקת יכולות יצירת וידאו ישירות בדפדפן ללא צורך בהתקנת סביבת פיתוח מקומית.

איפה זה נופל

הממשק אינו תומך בהעלאת תמונת מקור כדי להנפיש אותה, אלא עובד רק מטקסט לווידאו. אין אפשרות לשלוט ברזולוציה, באורך הסרטון, בקצב הפריימים או בסיד האקראי. בנוסף, מודל הטקסט אומן בעיקר על אנגלית, כך שהזנת עברית תביא לתוצאות שגויות או לכישלון מוחלט ביצירה.

איך משתמשים

מקלידים תיאור בתיבת הטקסט ולוחצים על כפתור Generate Video. ההרצה מתבצעת על מעבד גרפי מדגם A10G דרך מנגנון ZeroGPU, מה שאומר שהמעבד מוקצה רק בזמן הפעולה בפועל. זמן ההמתנה מושפע מעומס הבקשות ברשת וממגבלת הזמן שמוקצית לכל משתמש בממשק, כך שרינדור וידאו מלא על חומרה כזו עשוי לקחת כמה עשרות שניות טובות לכל סרטון.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. לגבי הסרטונים שנוצרים בדפדפן, השימוש בהם כפוף לתנאי הרישיון של המודלים המקוריים שנטענים ברקע.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗