kadirnar/Open-Sora

מה זה

הממשק מקבל פקודת טקסט חופשית ומחזיר נגן שמציג סרטון וידאו שנוצר מהתיאור. המערכת כוללת דוגמאות מוכנות מראש שנשמרו במטמון, כך שאפשר לראות תוצאות מיד בלי להמתין לעיבוד מלא של הנחיה חדשה.

מאחורי הקלעים רץ המודל של Open-Sora יחד עם שורת מודלים תומכים. עיבוד הטקסט והבנת הפרומפט נשענים על T5 של DeepFloyd, לצד שימוש במודלים ורכיבים מוכרים כמו CLIP, PixArt-alpha ו־Latte. שילוב החלקים האלה יחד מפרק את הטקסט למאפיינים ויזואליים ומייצר את הפריימים של הווידאו.

מתאים ל

• בדיקת איכות של Open-Sora

  צפייה בדוגמאות המוכנות כדי להתרשם מאיכות הווידאו שהמודל מפיק מפרומפטים שונים.

• ניסוי פרומפטים קצרים

  הזנת תיאורים טקסטואליים באנגלית ובדיקת התאמת הסרטון שמתקבל להנחיה.

• בחינת קוד ההטמעה

  מפתחים יכולים לראות כיצד לחבר את המודלים של T5 ו־Open-Sora בתוך ממשק gradio.

איפה זה נופל

ההדגמה מציגה תוצאות מוכנות שנשמרו מראש ומטעות לגבי זמן ההמתנה בפועל. יצירת וידאו ממודלים כאלה דורשת מעבדים גרפיים חזקים, וריצה על מעבד רגיל מוגבלת מאוד באיכות וקצב היצירה. בנוסף, אין בממשק הגדרות שליטה על אורך הסרטון, רזולוציה או מספר פריימים.

איך משתמשים

נכנסים לעמוד, כותבים תיאור בתיבת הטקסט ולוחצים על כפתור הרצת ההסקה. אפשר גם ללחוץ על אחת הדוגמאות המוכנות כדי לראות וידאו שנשמר מראש. המרחב רץ על חומרת מעבד בסיסית מסוג cpu-basic, מה שאומר שיצירת סרטון חדש לגמרי מאפס עשויה לקחת זמן רב מאוד או להיעצר עקב עומס חישובי כבד.

הרישיון

הקוד מופץ תחת רישיון apache-2.0 המאפשר שימוש חופשי והתאמה של הקוד. לגבי התוכן שנוצר, הרישיון חל על התוכנה עצמה ולא מגדיר בעלות ישירה על הסרטונים שמופקים מהמודלים השונים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗