Openai-Sora

מה זה

השם בעמוד מטעה לחלוטין. במקום המודל של OpenAI, הקוד טוען את המודל text-to-video-ms-1.7b של עליבאבא דרך ספריית diffusers של פייתון. הממשק מבקש מכם להקליד תיאור טקסטואלי, לקבוע את כמות צעדי הריצה בין 8 ל־128, ולבחור את מספר הפריימים הרצוי בין 8 ל־1000 כדי לקבוע את אורך הסרטון.

מה שמקבלים בסוף הוא קובץ וידאו שנוצר על בסיס הטקסט, לפחות בתיאוריה. הממשק לא כולל רשימת דוגמאות מוכנות מראש להרצה מהירה, והתוצאות של המודל הזה רחוקות מאוד ממה שסורה האמיתי מסוגל לעשות ברמת הדיוק והתנועה.

מתאים ל

• בדיקת המודל של עליבאבא

  התנסות במודל 1.7B הוותיק ליצירת וידאו קצר מתוך תיאור טקסטואלי.

• העתקת קוד gradio

  לקיחת קוד הפייתון מתוך הקובץ כדי לבנות ממשק עצמאי תקין.

• ניסוי ברינדור פריימים

  משחק עם מספר הצעדים ואורך הסרטון כדי לראות את ההשפעה על התוצר.

איפה זה נופל

הבעיה המרכזית היא שהכלי פשוט לא עובד כרגע בגלל קריסת ריצה. מעבר לזה, מדובר בהטעיה בשם: אין כאן שום קשר לסורה של OpenAI, אלא למודל קוד פתוח של 1.7 מיליארד פרמטרים שמייצר וידאו באיכות נמוכה וברזולוציה בסיסית.

איך משתמשים

כרגע אין לכם דרך להשתמש בזה, כי המרחב תקוע בשגיאת הרצה ולא מתפקד. לפי ההגדרות, הוא מוקצה על מעבד בסיסי בלבד. המודל עצמו דורש כוח עיבוד גרפי, כך שגם אם השגיאה תיפתר, יצירת וידאו של מאות פריימים על מעבד רגיל תיקח נצח.

הרישיון

הפרויקט מוגדר תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. המודל עצמו שמורץ מאחורי הקלעים שייך למפתחים שלו בעליבאבא, וכל עוד היישום תקוע בשגיאה הוא ממילא לא מייצר או שומר שום תוכן חדש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗