RE-USE

מה זה

מדובר במודל שמע מסוג audio-to-audio בגודל 9.6 מיליון פרמטרים בלבד, שמתמקד בשיפור דיבור בתנאים קשים. המטרה שלו היא לא רק להשתיק רעשי רקע, אלא להתמודד עם מגוון בעיות שמע במקביל: הדהוד, עיוותי קטימה (clipping), דחיסת קודקים, איבוד פקטים ברשת, מיקרופונים ירודים והרחבת רוחב פס (bandwidth extension).

הוא מקבל קובצי wav בערוץ בודד במגוון תדרי דגימה מ־8 קילוהרץ ועד 48 קילוהרץ, ופולט קובץ נקי באותו טווח. הארכיטקטורה משלבת מקודד ומפענח קונבולוציה עם מודל מצבים Mamba דו-כיווני בעל שלושים שכבות, שנועד למדל זמן ותדר ביעילות גבוהה בלי צוואר הבקבוק החישובי של טרנספורמרים רגילים על רצפים ארוכים.

האימון נעשה על פחות מעשרת אלפים שעות דיבור ורעש, כולל נתוני דיבור באנגלית, גרמנית, ספרדית, צרפתית ומנדרינית. לפי התיעוד הוא מיועד לתפקד בצורה אגנוסטית לשפה, תוך שמירה על זהות הדובר, הרגש והמבטא ללא עיוותים מלאכותיים בתוכן הנאמר.

מתאים ל

• ניקוי הקלטות קול ישנות

  מטפל במיקרופונים גרועים וברוחב פס נמוך, ויודע לבצע הרחבת תדרים לקבצי 8kHz ישנים.

• עיבוד מקדים למודלי תמלול

  מסיר רעשי רקע, הדהוד ועיוותי דחיסה כדי להגיש אות דיבור נקי יותר למנועי זיהוי דיבור.

• מחקר ארכיטקטורות Mamba בשמע

  בסיס לבחינת שכבות Mamba דו-כיווניות על שמע בתקציב זיכרון זעיר של עשרה מיליון פרמטרים.

איפה זה נופל

היוצרים מצהירים במפורש שהמודל מיועד למחקר ופיתוח בלבד, ולא לשימוש מבצעי. המשקל ששוחרר שונה מזה שמתואר במאמר המקורי, הוא אומן מחדש וכוונן על תת-קבוצה נקייה וקטנה יותר יחד עם עיוותים נוספים, ולכן תוצאות המאמר אינן משקפות אותו אחד לאחד.

בנוסף, קובצי אודיו ארוכים עלולים לקרוס בגלל חוסר בזיכרון GPU אלא אם מריצים אותם דרך מנגנון החלוקה למקטעים. מעבר לכך, נתוני האימון כללו בעיקר אנגלית ומספר שפות אירופיות ואסייתיות. עברית אינה מופיעה ברשימת המאגרים, ולכן איכות שימור הפונמות המקומיות והעיצורים הגרוניים דורשת בדיקה יסודית לפני שמסתמכים עליו.

איך מריצים

המשקל הכולל של הקבצים עומד על 37.7 מגהבייט, כך שהוא נכנס בקלות לכל זיכרון קיים, אבל תלויות ההרצה דורשות תשומת לב. הבסיס נשען על ספריית mamba-ssm וסביבת לינוקס. אנבידיה מציעה להשתמש באימג' דוקר מוכן של SEMamba כדי לחסוך את כאב הראש שבהתקנת הידור הקרנלים של Mamba עבור CUDA.

החומרה שנבדקה רשמית היא אנבידיה Ampere A100, אם כי מודל בגודל 10M פרמטרים אמור לרוץ בקלות על מאיצים קטנים בהרבה. ההרצה מתבצעת דרך סקריפטים ב־bash: קבצים קצרים מועברים ישירות לסקריפט inference רגיל, ועבור קבצים ארוכים שמסכנים את הזיכרון בעומס יש סקריפט ייעודי שמפרק את האודיו למקטעים (chunks). להרחבת תדרים יש להתקין גם את חבילת resampy.

pip install -U huggingface_hub
hf download nvidia/RE-USE

הקבצים

16 קבצים במאגר, 37.7 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors38.6 MB
• long_noisy_audio/mic_test2.wav449.9 KB
• noisy_audio/mic_test2.wav449.9 KB
• README.md7.7 KB
• inference_chunk.py6.7 KB
• models/codec_module_time_d4.py6.3 KB
• inference.py4.8 KB
• models/generator_SEMamba_time_d4.py3.6 KB
• models/stfts.py3.6 KB
• models/mamba_block2_SEMamba.py3.0 KB
• recipes/USEMamba_30x1_lr_00002_norm_05_vq_065_nfft_320_hop_40_NRIR_012_pha_0005_com_04_early_001.yaml2.4 KB
• .gitattributes1.6 KB
• utils/util.py1.3 KB
• config.json830 B
• inference_chunk.sh473 B
• inference.sh395 B

הרישיון

המודל שוחרר תחת רישיון NVIDIA One-Way Noncommercial License (NSCLv1). הרישיון הזה אוסר כל שימוש מסחרי, ומתיר פעילות מחקר ופיתוח בלבד. אם יש לכם כוונה לשלב אותו במוצר, להפיץ אותו ללקוחות או לייצר ממנו הכנסה, תצטרכו לחפש חלופה בקוד פתוח מתירני.

הרישיון המלא בעמוד המודל ↗