GPT
הוספת כלי
Y

YuE-s1-7B-anneal-en-icl

קוד פתוח

m-a-papache-2.02025-01-27

  • safetensors
  • llama
  • music
  • art
  • text-generation-inference

זה מודל שפה של 6.2 מיליארד פרמטרים שהוסב ליצירת שירים מלאים ממילים באנגלית. הוא מיועד למי שרוצה לשלוט בסגנון המוזיקלי באמצעות דגימת שמע קיימת ולא רק דרך טקסט.

  • 6.2Bפרמטרים
  • 16,384טוקנים בהקשר
  • 11.6 GBמשקל הקבצים
  • 2,230הורדות בחודש

מה זה

המודל הזה הוא שלב ראשון מתוך מערכת שלמה ליצירת מוזיקה. למרות שהוא יושב על ארכיטקטורה מוכרת של Llama עם חלון של 16,384 טוקנים, הוא לא פולט טקסט רגיל אלא טוקנים של אודיו שמייצגים שירה וליווי מוזיקלי במקביל.

גרסת ה־icl הזו מתמקדת בלמידה מתוך הקשר בשפה האנגלית. אתם מזינים מילות שיר יחד עם קטע מוזיקלי קיים כדוגמה, והוא מנסה לחקות את הסגנון, הגוון הקולי והעיבוד המוזיקלי לאורך כמה דקות. הוא שונה מגרסת ה־cot של אותה סדרה בכך שהוא בנוי על חיקוי דוגמאות שמע ישירות ולא על הנמקה טקסטואלית מקדימה.

צריך להבין שזה לא פתרון שעומד בפני עצמו. קובצי המשקלים מייצרים רק את המבנה הבסיסי, וכדי להוציא מזה קובץ שמע אמיתי צריך לחבר אותו למודל השלב השני בסדרה ולרכיב ה־upsampler שלהם.

מתאים ל

  • שכפול סגנון שירה והפקה

    המודל מחקה גוון קול ועיבוד מתוך קובץ שמע קצר ומלביש עליהם מילים חדשות באנגלית.

  • הפקת סקיצות לשירים

    מתאים לבדיקה מהירה של מילים ומבנה מוזיקלי מלא עם ליווי לפני כניסה לאולפן הקלטות.

  • יצירת מוזיקת רקע מותאמת

    הפקת רצועות שמע באורך כמה דקות למשחקים או סרטונים לפי דוגמת סגנון ספציפית.

איפה זה נופל

המודל הזה מכוון לאנגלית בלבד, כך שטקסט בעברית לא יעבוד פה. מעבר לזה, הכרטיס מזהיר במפורש מבעיות של זכויות יוצרים וגניבה ספרותית, שזו דרך מנומסת להגיד שהוא מסוגל לפלוט קטעים שדומים מדי ליצירות מוכרות אם הדוגמה שלכם קרובה למקור.

בנוסף, איכות האודיו הסופית תלויה לגמרי בשאר הרכיבים בשרשרת. אם השלב השני או ה־upsampler מפשלים, התוצאה תישמע רועשת ולא שמישה למוצר מסחרי בלי עריכה ידנית כבדה.

שאלות
נפוצות

האם המודל הזה מוציא קובץ מוזיקה רגיל כמו mp3?

לא ישירות. המודל מייצר רצף טוקנים בסיסי שמייצג שני ערוצים, וכדי להפוך אותם לסאונד נשמע אתם חייבים להעביר את הפלט דרך המודלים הנוספים של YuE.

אפשר להשתמש בו לשירים בעברית?

הגרסה הספציפית הזו אומנה ועברה התאמה לאנגלית בלבד. אם תזינו לה מילים בעברית היא כנראה תיכשל בהגייה ובמשקל, ועדיף לבדוק אם יצאו גרסאות רב לשוניות מתאימות יותר.

איך מריצים

הקבצים שוקלים 11.6 גיגה-בייט בדיוק bfloat16. כדי לטעון אותו תצטרכו לפחות 16 גיגה-בייט של זיכרון גרפי, אבל אם תשתמשו בגרסאות מכומתות דרך פרויקטים קהילתיים כמו YuE-UI, אפשר להריץ אותו גם על כרטיסים צנועים יותר עם 8 גיגה-בייט זיכרון.

הריצה מקומית ומסורבלת כי היא דורשת שרשור של מספר מודלים כדי לקבל שיר מוגמר, כך שכל הפקה לוקחת זמן. אם אין לכם כרטיס ייעודי סביר ומערכת קבצים מהירה, ההתעסקות עם הסביבה תהיה כבדה ועדיף לחכות למימושי ענן או להשתמש בפתרונות מוכנים.

pip install -U huggingface_hub
hf download m-a-p/YuE-s1-7B-anneal-en-icl

הקבצים

12 קבצים במאגר, 11.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא, מה שמאפשר שימוש מסחרי, שינוי של הקוד והפצה בלי תמלוגים. היוצרים רק מבקשים לתת קרדיט בשם המודל וממליצים לתייג את התוצרים ככאלה שנוצרו בבינה מלאכותית, אבל האחריות המשפטית על התוכן והפרת זכויות יוצרים חלה עליכם לגמרי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗