open-sora

מה זה

מזינים טקסט באנגלית שמתאר את הסצנה, ואם רוצים אפשר להעלות גם תמונת מקור כרפרנס. בוחרים רזולוציה, יחס תצוגה, אורך הקטע ומספר פריימים לשנייה, ולוחצים על כפתור הייצור כדי לקבל קובץ וידאו מוכן לתצוגה ולהורדה.

מתחת למכסה המנוע רץ שילוב של מודל STDiT בגרסה v1.2-stage3 עם רכיבי VAE שונים ומקודדי טקסט כמו T5 של DeepFloyd ו־CLIP של OpenAI. הממשק נותן שליטה ידנית על פרמטרים כמו מספר צעדי הדגימה, ערך הסיד, משקל ה־CFG, עוצמת התנועה וציון אסתטיקה. קיים גם כפתור לשדרוג הפרומפט דרך GPT4o, אבל הוא דורש מפתח מותאם אישית שלא תמיד מוגדר בסביבה.

מתאים ל

• בדיקת יכולות יצירת וידאו

  ניסוי מהיר של יצירת וידאו מפרומפטים שונים ישירות בדפדפן בלי לכתוב שורת קוד.

• הנפשת תמונת סטילס

  העלאת תמונת רפרנס והפיכתה לקטע וידאו עם תנועה מוגדרת לפי בחירה.

• כיוונון פרמטרים למחקר

  בדיקת ההשפעה של צעדי דגימה, סיד ו־CFG Scale על תוצאות המודל בזמן אמת.

איפה זה נופל

יש מגבלות זיכרון ברורות של כרטיס המסך. הקוד עצמו מזהיר ששילוב של רזולוציית 480p עם משך וידאו של 16 שניות עלול להקריס את הריצה בגלל מחסור בזיכרון CUDA. בנוסף, המערכת מיועדת לקטעים קצרים בלבד ואין בה כלי עריכה מתקדמים, מעבר לשליטה בסיסית על תנועת מצלמה ולולאות.

איך משתמשים

מקלידים את הפרומפט, מכוונים את הסליידרים להגדרות הרצויות ולוחצים על יצירת וידאו או יצירת תמונה. ההרצה מתבצעת על מאיץ גרפי מסוג A10G של זירו, שמוקצה לפי דרישה. זה אומר שלעיתים תצטרכו להמתין שניות ארוכות לעליית החומרה ועיבוד הפריימים, בייחוד אם בחרתם במספר צעדי דגימה גבוה מהברירת מחדל שעומדת על 30.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. עם זאת, השימוש במודל ובסרטונים שנוצרים דרכו כפוף לתנאי הרישיון המקוריים של החבילות והמשקולות שנטענות בפנים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗