YuE-s2-1B-general

מה זה

מדובר בחלק משרשרת ייעודית שהופכת מילים לשיר שלם באורך כמה דקות. הארכיטקטורה מבוססת על מודל שפה של שני מיליארד פרמטרים, אבל במקום להפיק טקסט הוא מטפל בטוקנים של אודיו. הוא עובד כשלב עיבוד משלים למודלים הגדולים בסדרה, שמייצרים את התוכן הראשוני בשיטות שונות.

המערכת מחולקת לשניים, כאשר המודל הזה מוגדר כחלק הכללי בסבב השני ולא תלוי בשפה ספציפית כמו שלב הבסיס. הוא מיועד לעבוד לצד מודלי שלב ראשון שמכוונים לאנגלית, סינית, יפנית או קוריאנית, ומשם ממשיכים לרכיב דגימה נוסף. כרטיס המודל לא מציג ציוני בנצ'מרק מספריים אלא קובצי שמע להדגמה, כך שאיכות הצליל נמדדת ישירות בהאזנה ולא בטבלאות ביצועים רגילות.

מתאים ל

• הפקת שירים מלאים מטקסט

  הוא משמש כשלב שני בתהליך יצירת רצועות שירה וכלי נגינה מתוך מילים כתובות.

• המשך ועיבוד קטעי מוזיקה

  משתלב בפרויקטים שמרחיבים קטעי שמע קיימים או ממשיכים אותם לשירים שלמים.

• העברת סגנון קולי בשיר

  תומך בשיבוט קול ובשינוי סגנון מוזיקלי כאשר מספקים לו רצועת ייחוס מתאימה.

איפה זה נופל

המודל תלוי לחלוטין ברכיבים האחרים ברצף, ובלי מודל שלב ראשון שמייצר את הבסיס אין לו שימוש עצמאי. מעבר לזה, רשימת השפות מוגבלת לאנגלית, סינית, יפנית וקוריאנית. עברית לא נתמכת כאן כלל. היוצרים מזהירים במפורש שחובת בדיקת זכויות היוצרים והעתקות מוזיקליות חלה על המשתמש, מפני שהפלט עשוי להזכיר חומרים מוגנים קיימים.

איך מריצים

המודל שוקל 3.7 גיגהבייט בפורמט bfloat16, כך שכרטיס מסך עם 8 גיגהבייט זיכרון יספיק להרצה שלו. הקהילה יצרה ממשקים מבוססי גרדיו שתומכים במודלים מכווצים, וגם מעטפת לחלונות דרך פלטפורמת פינוקיו שחוסכת הגדרות ידניות של סביבת פייתון.

להריץ רק אותו לא ייתן לכם מוזיקה מאפס. חייבים להריץ לפניו את אחד ממודלי השלב הראשון של שבעה מיליארד פרמטרים, ולאחר מכן את רכיב הדגימה. אם אין לכם כרטיס גרפי מתאים לשני המודלים יחד, אפשר להשתמש במחברות גוגל קולאב שהקהילה שיתפה, או לפנות לפתרונות ענן כדי להימנע מצווארי בקבוק בהפקה מקומית.

pip install -U huggingface_hub
hf download m-a-p/YuE-s2-1B-general

הקבצים

9 קבצים במאגר, 3.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.9 GB
• tokenizer.model1.8 MB
• assets/logo/黑底.png14.5 KB
• assets/logo/白底.png14.1 KB
• assets/logo/透明底黑线.png11.7 KB
• README.md9.7 KB
• .gitattributes1.5 KB
• config.json683 B
• generation_config.json111 B

הרישיון

הפרויקט מופץ ברישיון אפאצ'י 2.0 שמאפשר שימוש מסחרי, שינוי קוד והפצה חופשית. היוצרים מעודדים מכירה של היצירות שנוצרות באמצעותו, ומבקשים לתת קרדיט לשם המודל ולציין שמדובר בתוכן מבוסס בינה מלאכותית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗