MOSS-SoundEffect-v2.0

מה זה

הארכיטקטורה כאן מחליפה את המנגנון האוטו-רגרסיבי הישן בטרנספורמר דיפוזיה עם Flow Matching, לצד מקודד טקסט של Qwen3 ורכיב DAC VAE. השילוב הזה מתרכז ביצירת צלילים שאינם דיבור, כמו רעשי רקע עירוניים, תנועות אנושיות, בעלי חיים וקטעי מוזיקה קצרים. עם 1.4 מיליארד פרמטרים, הוא מתמודד ישירות עם משימת יצירת האודיו הרציף תוך שליטה באורך הפלט לפי דרישה.

בניגוד לכלים רבים שמוגבלים לשניות ספורות ומתקשים לשמור על אחידות, כאן אפשר להגדיר משך זמן של עד חצי דקה בכל ריצה. המודל אומן על תיאורים באנגלית ובסינית בלבד, כך שהבנת השפה מוגבלת אליהן, אך מגוון הסצנות הקוליות שהוא מכסה רחב יחסית לגודלו. איכות הדגימה הגבוהה של 48kHz מבטיחה תוצאה חדה שמתאימה להפקה ישירה.

מתאים ל

• סאונד למשחקי מחשב

  יצירת רעשי רקע, צעדים ואפקטים סביבתיים מותאמים אישית לשלבים לפי תיאור טקסטואלי.

• פוסט פרודקשן לווידאו

  הפקת שכבות שמע ואמביינס של עד חצי דקה כדי למלא חללים שקטים בצילומי חוץ ופנים.

• אפקטים קוליים לפודקאסטים

  יצירת קטעי מעבר מוזיקליים קצרים ורעשי אווירה בלי להסתבך עם זכויות יוצרים של מאגרים.

איפה זה נופל

המודל אינו תומך בהנחיות בעברית, וניסיון לכתוב פרומפטים בשפה שאינה אנגלית או סינית יניב ככל הנראה תוצאות לא צפויות. מעבר לזה, תהליך ההיסק דורש 100 צעדים ומספק עומס חישובי ממשי שלא יתאים ליצירת צלילים בזמן אמת בתוך משחק, אלא רק לעיבוד מראש. הכרטיס גם מציין אפשרות לתקלות עם Triton ו־TorchDynamo, מה שעלול לחייב ביטול אופטימיזציות והאטה נוספת.

אותה משפחה

MOSS-SoundEffect יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך מודרני שתומך ב־bfloat16 וב־CUDA, יחד עם התקנה נקייה של פייתון 3.12. המודל שוקל 10.5 גיגה-בייט, ומאחר שהוא כולל הידור עם Triton ו־torch.compile, הריצה הראשונה תיקח כמה דקות של המתנה עד לסיום הקומפילציה.

ברירת המחדל דורשת מאה צעדי היסק להפקה של קובץ יחיד. אם השרת שלכם חלש או חסר מעבד גרפי מתאים, הריצה המקומית תהיה איטית מאוד, ואז עדיף לשקול עבודה מול שירות חיצוני מרוחק שמריץ את המשקלים עבורכם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("OpenMOSS-Team/MOSS-SoundEffect-v2.0")
img = pipe("a photo").images[0]

הקבצים

17 קבצים במאגר, 10.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors5.7 GB
• text_encoder/model-00001-of-00002.safetensors3.4 GB
• vae/vae_128d_48k.pth1.5 GB
• text_encoder/model-00002-of-00002.safetensors622.3 MB
• tokenizer/tokenizer.json11.4 MB
• tokenizer/vocab.json2.8 MB
• tokenizer/merges.txt1.7 MB
• text_encoder/model.safetensors.index.json25.6 KB
• tokenizer/tokenizer_config.json9.7 KB
• README.md3.8 KB
• .gitattributes1.6 KB
• text_encoder/config.json726 B
• model_index.json504 B
• transformer/config.json311 B
• text_encoder/generation_config.json239 B
• vae/config.json169 B
• scheduler/scheduler_config.json134 B

הרישיון

רישיון Apache 2.0 מאפשר שימוש חופשי, כולל הפצה, שינוי קוד ושילוב במוצרים מסחריים. אין חובה לחשוף את הקוד שלכם, וצריך רק לשמור על תנאי הרישיון המקוריים והצהרות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗