audioldm2

מה זה

המודל מקבל תיאור טקסטואלי ומחזיר קובץ שמע בקצב דגימה של 16kHz. הוא מאומן על 1,150,000 שעות של תוכן קולי, ומתוכנן להתמודד עם מגוון רחב של משימות: החל מרעשי רקע ואפקטים קוליים, דרך דיבור אנושי ועד קטעי מוזיקה בסיסיים.

זוהי גרסת הבסיס מתוך שלוש שפורסמו במחקר. בעוד שהרשת המרכזית שלו, ה־UNet, כוללת כ־350 מיליון פרמטרים, המערכת כולה מגיעה ל־1.1 מיליארד פרמטרים יחד עם מקודדי הטקסט וה־VAE. ההבדל בינו לבין גרסת ה־large טמון בעיקר בעומק הרשת, מה שמשפיע ישירות על כושר ההפרדה של הצליל מול מהירות החישוב.

מתאים ל

• מחולל אפקטים למשחקים

  מתאים ליצירת רעשי רקע, צעדים או מכות פטיש לפי תיאור טקסט ישיר לפיתוח עצמאי.

• אב טיפוס לסינתזת שמע

  בדיקת היתכנות מהירה של ייצור קול ואודיו ממודל מקומי דרך קוד פייתון סטנדרטי.

• מחקר אקדמי בעיבוד אותות

  בסיס נוח לניסויים על דיפוזיה באודיו תחת תנאי הרישיון הלא-מסחרי של המחברים.

איפה זה נופל

איכות השמע רגישה מאוד ל־seed הנבחר ומשתנה מריצה לריצה, כך שלעיתים קרובות תצטרכו לייצר מספר תוצאות לאותו הפרומפט כדי לקבל קטע שמיש. בנוסף, המודל מתקשה להבין שמות ספציפיים או מושגים מופשטים, והוא מגיב טוב רק לתיאורים כלליים ומפורטים עם שמות תואר ברורים. קצב הדגימה עומד על 16kHz בלבד, מה שמגביל את איכות הצליל הסופית ולא יתאים למי שמחפש הפקה מוזיקלית נקייה בתדרים גבוהים.

איך מריצים

ההרצה נעשית ישירות בעזרת הספרייה diffusers החל מגרסה 0.21.0, יחד עם transformers ו־accelerate. הקבצים שוקלים 8.3 גיגה-בייט ומחייבים שימוש בכרטיס מסך תומך CUDA, כאשר טעינה ב־float16 היא הדרך המעשית לעבוד איתו בלי לחנוק את הזיכרון.

זמן הריצה תלוי בעיקר במספר צעדי הדיפוזיה שתגדירו, כשרמת ברירת המחדל המומלצת בדוגמאות היא 200 צעדים. אם אתם מתכוונים לייצר אודיו בזמן אמת, קחו בחשבון ש־200 צעדים ייקחו זמן מורגש על כרטיס בודד, במיוחד אם מבקשים לחולל כמה דגימות במקביל כדי לבחור את הטובה ביותר.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("cvssp/audioldm2")
img = pipe("a photo").images[0]

הקבצים

35 קבצים במאגר, 8.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin1.4 GB
• unet/diffusion_pytorch_model.safetensors1.4 GB
• text_encoder_2/pytorch_model.bin1.4 GB
• text_encoder_2/model.safetensors1.4 GB
• text_encoder/pytorch_model.bin776.4 MB
• text_encoder/model.safetensors776.3 MB
• language_model/pytorch_model.bin497.8 MB
• language_model/model.safetensors497.8 MB
• vae/diffusion_pytorch_model.bin221.6 MB
• vae/diffusion_pytorch_model.safetensors221.5 MB
• vocoder/pytorch_model.bin221.1 MB
• vocoder/model.safetensors221.1 MB
• projection_model/diffusion_pytorch_model.bin4.7 MB
• projection_model/diffusion_pytorch_model.safetensors4.7 MB
• tokenizer_2/tokenizer.json2.4 MB
• tokenizer/tokenizer.json2.1 MB
• tokenizer/vocab.json798.3 KB
• tokenizer_2/spiece.model791.7 KB
• tokenizer/merges.txt456.3 KB
• README.md5.4 KB
• tokenizer_2/tokenizer_config.json2.3 KB
• tokenizer_2/special_tokens_map.json2.2 KB
• .gitattributes1.5 KB
• unet/config.json1.5 KB
• language_model/config.json902 B
• model_index.json805 B
• text_encoder/config.json801 B
• text_encoder_2/config.json766 B
• vocoder/config.json654 B
• vae/config.json559 B
• feature_extractor/preprocessor_config.json541 B
• scheduler/scheduler_config.json507 B
• tokenizer/tokenizer_config.json494 B
• tokenizer/special_tokens_map.json280 B
• projection_model/config.json173 B

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה וחד-משמעית: שימוש לא מסחרי בלבד. אסור לשלב את המשקולות או את התוצרים שלו במוצר מסחרי בתשלום, וכל שינוי או פיתוח שמבוסס עליו חייב להיות מופץ תחת אותו הרישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗