Xenova/musicgen-small

מה זה

מדובר בהסבה של musicgen-small מבית פייסבוק לפורמט ONNX, שפותחה במטרה לעבוד עם ספריית Transformers.js. המודל לוקח תיאור טקסטואלי חופשי, כולל סגנון, מקצב וכלי נגינה, ומייצר מתוכו רצועת אודיו גולמית שניתן לשמור כקובץ WAV. בניגוד לגרסה המקורית שדורשת סביבת פייתון ותלויות כבדות כמו PyTorch, כאן אפשר להריץ את כל תהליך ההסקה בקוד צד לקוח או ב־Node.js.

המשקל הכולל של הקבצים במאגר מגיע ל־14.1 גיגהבייט על פני 57 קבצים שונים, כיוון שהוא מכיל תצורות ומשקלים שונים לרכיבי המערכת, כולל דחיסה ל־q8 בחלק מהחלקים ו־fp32 באחרים. היתרון העיקרי שלו הוא הנגישות למפתחי ווב שרוצים לשלב יצירת מוזיקה ישירות ביישום מקומי בלי לנהל תשתית שרתים ייעודית.

מתאים ל

• פיתוח כלי יצירה בדפדפן

  מאפשר לייצר דמואים אינטראקטיביים של אודיו ב־JavaScript בלי להקים שרת backend כבד.

• פרויקטי קוד פתוח אישיים

  מתאים לניסויים ביצירת מוזיקה מטקסט בסביבת Node.js שאינם מיועדים למכירה או לרווח.

• בדיקת יכולות ONNX ברשת

  טוב לבחינת ביצועי הסקה מקומיים של מודלי שמע מורכבים במכשירי קצה לפני פיתוח רחב.

איפה זה נופל

המאגר הזה הוא פתרון זמני של המפתח עד שתחום ה־WebML יתייצב, מה שאומר שהמבנה שלו עשוי להשתנות בעתיד. מעבר לזה, יצירת מוזיקה באיכות טובה מוגבלת כאן לאודיו קצר יחסית לפי כמות הטוקנים שמוגדרת בריצה, ודחיסת המשקלים ל־q8 כדי לאפשר ריצה מקומית עלולה לפגוע בדיוק הצליל לעומת המודל המקורי.

איך מריצים

ההרצה מתבצעת באמצעות התקנת החבילה של Transformers.js מ־NPM. בקוד טוענים את הטוקנייזר ואת המודל עם חלוקת דיוק מתאימה, למשל q8 למקודד הטקסט ולדקודר ו־fp32 לפענוח האודיו, מעבירים פרומפט ומייצרים דגימות בעזרת פונקציית הג'נרייט.

למרות שמדובר בגרסת small, 14.1 גיגהבייט של קבצים במאגר אומרים שזה לא משהו שמורידים כלאחר יד בכל טעינת עמוד רגילה ברשת. זה דורש זיכרון עבודה משמעותי ומעבד חזק במכשיר הקצה, ואם אתם בונים שירות שצריך לענות מהר להרבה משתמשים בו־זמנית, API מרוחק עדיין יהיה פתרון יציב יותר.

pip install -U huggingface_hub
hf download Xenova/musicgen-small

הקבצים

57 קבצים במאגר, 14.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/decoder_model_merged.onnx1.7 GB
• onnx/decoder_model.onnx1.7 GB
• onnx/decoder_with_past_model.onnx1.5 GB
• onnx/decoder_model_merged_fp16.onnx848.2 MB
• onnx/decoder_model_fp16.onnx846.7 MB
• onnx/decoder_with_past_model_fp16.onnx744.2 MB
• onnx/text_encoder.onnx438.7 MB
• onnx/decoder_model_merged_quantized.onnx428.4 MB
• onnx/decoder_model_merged_uint8.onnx426.8 MB
• onnx/decoder_model_merged_int8.onnx426.8 MB
• onnx/decoder_model_quantized.onnx426.6 MB
• onnx/decoder_model_uint8.onnx425.0 MB
• onnx/decoder_model_int8.onnx425.0 MB
• onnx/decoder_with_past_model_quantized.onnx375.0 MB
• onnx/decoder_with_past_model_uint8.onnx373.6 MB
• onnx/decoder_with_past_model_int8.onnx373.6 MB
• onnx/decoder_model_merged_q4.onnx302.4 MB
• onnx/decoder_model_q4.onnx301.3 MB
• onnx/decoder_model_merged_bnb4.onnx276.6 MB
• onnx/decoder_model_bnb4.onnx275.5 MB
• onnx/decoder_with_past_model_q4.onnx269.1 MB
• onnx/decoder_model_q4f16.onnx254.1 MB
• onnx/decoder_with_past_model_bnb4.onnx246.6 MB
• onnx/decoder_with_past_model_q4f16.onnx225.1 MB
• onnx/text_encoder_fp16.onnx219.5 MB
• onnx/text_encoder_q4.onnx152.0 MB
• onnx/text_encoder_bnb4.onnx146.7 MB
• onnx/encodec_decode_bnb4.onnx118.1 MB
• onnx/encodec_decode_q4.onnx118.1 MB
• onnx/encodec_decode.onnx118.1 MB
• onnx/text_encoder_quantized.onnx110.4 MB
• onnx/text_encoder_uint8.onnx110.0 MB
• onnx/text_encoder_int8.onnx110.0 MB
• onnx/text_encoder_q4f16.onnx97.3 MB
• onnx/encodec_decode_quantized.onnx59.9 MB
• onnx/encodec_decode_uint8.onnx59.8 MB
• onnx/encodec_decode_int8.onnx59.8 MB
• onnx/encodec_decode_fp16.onnx59.1 MB
• onnx/encodec_decode_q4f16.onnx59.1 MB
• tokenizer.json2.4 MB

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחדה, אסור להשתמש במודל הזה בשום מוצר, שירות או יישום למטרות מסחריות או רווח. הוא מיועד למחקר, ניסויים ופרויקטים אישיים בלבד, ומחייב מתן קרדיט ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗