GPT
הוספת כלי
M

MOVA-360p

קוד פתוח

OpenMOSS-Teamapache-2.02026-01-28

  • diffusers
  • safetensors
  • image-to-video
  • image-text-to-video
  • image-to-audio-video

מודל פתוח שמייצר וידאו יחד עם סאונד מסונכרן בריצה אחת מתמונה או טקסט. במקום להדביק אודיו בנפרד, הוא בונה את הקול והתנועה ביחד.

  • 72.4 GBמשקל הקבצים
  • 175,701הורדות בחודש
  • 216לייקים

מה זה

רוב מודלי הווידאו הפתוחים מייצרים סרטילם אילמים לחלוטין, ואז צריך להריץ עוד מודל שינסה לנחש איזה צליל מתאים לתמונה. כאן בנו ארכיטקטורה של שני מגדלים אסימטריים שמחוברים בתשומת לב צולבת דו כיוונית, כך שהווידאו והאודיו נוצרים באותו הזמן בדיוק. הוא מתמודד עם התאמת שפתיים לכמה שפות ואפקטים קוליים שתואמים את מה שקורה בסצנה.

המבנה הפנימי מבוסס על תערובת מומחים עם 32 מיליארד פרמטרים בסך הכול, אבל רק 18 מיליארד מהם פעילים בכל ריצה. זה אומר שהוא מנסה לתת איכות של מודל ענק בלי לדרוש את כל כוח החישוב המלא בכל שלב של הרינדור.

מתאים ל

  • הנפשת תמונות עם דיבור

    התאמת תנועת שפתיים וסאונד מתוך תמונת מקור אחת בלי להרכיב שני כלים נפרדים.

  • ייצור אפקטים קוליים לווידאו

    יצירת סרטונים קצרים שבהם רעשי הרקע מותאמים בזמן אמת למה שרואים על המסך.

  • אימון LoRA לתכנים מותאמים

    שימוש בסקריפטים הפתוחים כדי להתאים את המודל לדמויות או סגנונות ספציפיים.

איפה זה נופל

השם של המודל כולל 360p, וזה אומר בדיוק את מה שאתם חושבים: הרזולוציה הבסיסית נמוכה מאוד, ולא תקבלו כאן וידאו מוכן לשידור בלי שלב נוסף של שדרוג רזולוציה. בנוסף, למרות שהמפתחים מדברים על סנכרון שפתיים רב לשוני, צריך לבדוק בפועל איך הוא מתמודד עם עברית, שלא תמיד מקבלת ייצוג מספק בדאטה של מודלים כאלה.

שאלות
נפוצות

האם המודל דורש כלי חיצוני כדי להוסיף סאונד?

לא, הוא מייצר את פס הקול יחד עם הפריימים באותו מעבר חישוב. המטרה של המבנה הזה היא למנוע את חוסר התיאום שקורה כשמחברים סאונד בדיעבד.

מה המשמעות של 360p בשם המודל?

הווידאו שיוצא ממנו מופק ברזולוציה נמוכה יחסית. אם אתם צריכים תוצאה חדה למסכים גדולים, תצטרכו להעביר את הפלט דרך כלי של הגדלת רזולוציה.

כמה זיכרון כרטיס מסך צריך כדי להריץ אותו?

המשקלים תופסים 72.4 גיגה בייט, ובריצה פעילים 18 מיליארד פרמטרים מתוך 32. בפועל תצטרכו חומרת שרתים מקצועית עם זיכרון משמעותי, ולא כרטיס מסך ביתי סטנדרטי.

איך מריצים

כדי להוריד אותו תצטרכו לפנות מעל 72 גיגה בייט בדיסק רק למשקלים עצמם. בגלל שמדובר ב־18 מיליארד פרמטרים פעילים, תצטרכו שרת עם כרטיסי מסך חזקים מאוד עם זיכרון VRAM נכבד כדי להעלות את הצינור של diffusers.

אם אין לכם קלאסטר זמין או מכונה ייעודית בענן, להריץ דבר כזה על מחשב מקומי זה סיוט של זמני רינדור וצווארי בקבוק. במצב כזה, עדיף לחכות שמישהו יעטוף אותו ב־API מסודר במקום לשלם על שרתים יקרים בזמן שאתם מנסים לקנפג את הסביבה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("OpenMOSS-Team/MOVA-360p")
img = pipe("a photo").images[0]

הקבצים

30 קבצים במאגר, 72.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים פרטיים בלי לפתוח את הקוד שלכם, כל עוד שומרים על הודעת הרישיון וזכויות היוצרים המקוריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗