DiffRhythm2 — הדגמה

מה זה

אתם מזינים מילות שיר בפורמט מתוזמן של קובץ lrc, ובנוסף בוחרים איך לכוון את הסגנון המוזיקלי. אפשר להקליד הנחיית טקסט רגילה או להעלות קובץ שמע כדוגמה, ובתמורה מקבלים קובץ שמע מוגמר להאזנה ולהורדה.

מאחורי הקלעים רץ שילוב של מודל DiffRhythm2 יחד עם OpenMuQ MuQ-MuLan-large, שמנתח את ההנחיות המוזיקליות ומסנכרן את הצליל. בממשק יש דוגמאות מובנות של מילים, תיאורי טקסט וקטעי שמע, כך שלא חייבים להכין קבצים מראש כדי לבדוק איך זה נשמע.

מתאים ל

• הפקת מוזיקה מטקסט

  יצירת שיר שלם מתוך תיאור סגנון ומילים מתוזמנות מראש ישירות מקובץ lrc.

• בדיקת סגנונות משמע

  העלאת קטע סאונד כהנחיה כדי לייצר שיר חדש עם גוון צליל דומה.

• ניסוי פרמטרים טכניים

  בדיקת השפעת פותרי ODE שונים ומספר צעדים על איכות השמע שנוצר.

איפה זה נופל

חייבים להזין מילים בפורמט lrc שמכיל תגיות זמן, מה שמסבך את העבודה אם יש לכם רק טקסט רגיל בלי תזמונים. אין כאן עריכה של ערוצים נפרדים, והתוצאה מגיעה כקובץ סופי שלם בלי אפשרות לפרק שירה וכלים. שינוי שיטות ה־ODE המתקדמות דורש הבנה טכנית, ואם תבחרו הגדרות כבדות זמן העיבוד עלול להתארך משמעותית.

איך מריצים

לוחצים על כפתור Generate אחרי הזנת המילים וההנחיה. ברירת המחדל מוציאה קובץ mp3, אבל בהגדרות המתקדמות אפשר לבחור גם wav או ogg, לשנות את מספר הצעדים, את חוזק ה־cfg ואת שיטת ה־ODE Solver כמו euler או rk4. המערכת רצה על מעבד גרפי מסוג zero-a10g שמוקצה לפי דרישה דרך spaces, כך שזמן ההמתנה תלוי בעומס ובזמינות החומרה באותו רגע.

pip install -U huggingface_hub
hf download ASLP-lab/DiffRhythm2

הקבצים

7 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors4.5 GB
• decoder.bin523.1 MB
• README.md5.4 KB
• .gitattributes1.5 KB
• decoder.json544 B
• model.json263 B
• config.json262 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי בקוד. לגבי קובצי השמע שאתם מעלים או התוצאות שנוצרות, הדבר כפוף לתנאי השימוש הרגילים של Hugging Face spaces.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗