GPT
הוספת כלי
O

Open-Sora-v2

קוד פתוח

hpcai-techapache-2.02025-03-04

  • open-sora
  • safetensors
  • text-to-video

מודל פתוח של 11 מיליארד פרמטרים שיוצר וידאו מטקסט או מתמונה. הוא מיועד למי שרוצה שליטה מלאה בתשתית וידאו בלי תלות בספקים סגורים.

  • 64.4 GBמשקל הקבצים
  • 448הורדות בחודש
  • 183לייקים

מה זה

מדובר במודל דיפוזיה מסוג DiT שמייצר סרטונים ברזולוציות של 256 על 256 או 768 על 768 פיקסלים, ביחסי תמונה שונים ועד 128 פריימים. הוא מטפל ביצירה ישירה של טקסט לווידאו, אבל הותאם במיוחד לתהליך של תמונה לווידאו. כדי להגיע לתוצאות טובות מטקסט, הוא מסתמך על שרשור שבו מודל Flux מייצר קודם תמונת בסיס ומשם הוא ממשיך לתנועה.

לפי הבדיקות של המפתחים במדד VBench, הפער בינו לבין Sora של OpenAI ירד לפחות מאחוז, ובמבחני העדפה אנושית הוא מציג תוצאות דומות למודלים גדולים יותר כמו HunyuanVideo ו־Step-Video. המשמעות בפועל היא איכות תנועה תחרותית בקטגוריה הפתוחה, בלי צורך לחרוג מגודל של 11 מיליארד פרמטרים.

מתאים ל

  • הנפשת תמונות סטילס

    הוא מותאם ספציפית ל־Image-to-Video ומאפשר להגדיר דרגות תנועה לפי מספרים.

  • אימון מודל וידאו ייעודי

    קוד האימון והארכיטקטורה פתוחים לחלוטין, מה שמתאים ל־fine-tuning על דאטה פנימי.

  • פסי ייצור וידאו מקומיים

    רישיון אפאצ'י מאפשר שילוב במוצר מסחרי ללא תמלוגים או תלות ב־API סגור.

איפה זה נופל

המודל מודה בעקיפין בחולשה ביצירה ישירה של טקסט לווידאו, ומחייב מעקף של מודל תמונה חיצוני כמו Flux כדי להפיק איכות נסבלת. בנוסף, כלים כמו חידוד פרומפטים והערכת דינמיקה של תנועה דורשים מפתח API של OpenAI, מה ששובר את העצמאות של קוד פתוח מקומי. הרזולוציה המקסימלית נעצרת ב־768 פיקסלים, כך שלא תקבלו כאן HD אמיתי מהקופסה בלי תהליכי הגדלה נפרדים.

אותה משפחה

Open-Sora יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Open-Sora0

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס מסך ביתי כמו RTX 4090?

לא ברזולוציה הגבוהה. המודל דורש מעל 44 גיגה זיכרון גרפי גם בעבודה מבוזרת, כך שכרטיס עם 24 גיגה פשוט יקרוס מחוסר זיכרון, אלא אם מריצים ברזולוציית 256 פיקסלים נמוכה מאוד.

איך מייצרים סרטון ישירות מטקסט באיכות טובה?

המפתחים ממליצים להשתמש בסקריפט ה־t2i2v שלהם. התהליך מייצר קודם תמונה ראשונה בעזרת מודל Flux, ומשתמש בה כעוגן ליצירת רצף הווידאו.

איך מריצים

המשקלים תופסים מעל 64 גיגה בייט, ובדיקות הביצועים נערכו על מעבדי H100 או H800. ברזולוציית 768 על 768 עם 50 צעדים, כרטיס בודד דורש 60.3 גיגה זיכרון גרפי ולוקח לו כמעט חצי שעה לייצר סרטון יחיד. כדי לרדת לזמן של פחות מחמש דקות לסרטון, צריך מערך של שמונה כרטיסים במקביל עם sequence parallelism של ColossalAI.

למי שאין שרת ייעודי עם כרטיסי שרת חזקים, הרצה עצמית בבית או בענן רגיל אינה מעשית. שווה להרים אותו רק אם בונים פסי ייצור מותאמים אישית שדורשים שינויי ארכיטקטורה או fine-tuning פנימי.

pip install -U huggingface_hub
hf download hpcai-tech/Open-Sora-v2

הקבצים

20 קבצים במאגר, 64.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗