VoiceRestore — הדגמה
קוד פתוחjadechogharimit2024-09-28
הכלי מנקה ומחזיר לחיים הקלטות דיבור ישנות או פגומות. הוא מיועד למי שמחזיק אודיו מלוכלך עם עיוותים, הדהוד או רעש ורוצה לנסות לשחזר אותו.
- 2.3 GBמשקל הקבצים
- —הורדות בחודש
- 61לייקים
מה זה
מעלים קובץ קול שכולל בעיות נפוצות כמו רעשי רקע, אקו, עיוותים או איבוד אות, ומקבלים גרסת שמע משוחזרת ונקייה. המערכת כוללת דוגמאות מובנות שמציגות התמודדות עם סוגי פגיעה שונים, כמו קבצים ב־16 קילוהרץ, הקלטות עם הדהוד חזק או עיוות קיצוני.
מאחורי הקלעים רץ מודל מבוסס שנאי של Flow-Matching עם מעל 300 מיליון פרמטרים, שנשען על מימוש של E2-TTS. לצידו פועל המודל BigVGAN v2 של אנבידיה כדי לפענח ולבנות מחדש את האות הקולי באיכות גבוהה.
מתאים ל
- ניקוי הקלטות דיבור ישנות
משפר קבצי דיבור עם רעשי רקע, אקו או עיוותי סאונד קשים.
- שחזור אות קולי פגום
מנסה להשלים מידע ולתקן קטעים שבהם האות נחתך או נפגע בהקלטה.
- הרצה מקומית של המודל
מורידים את המשקולות דרך ספריית transformers כדי לשלב אותן בקוד פייתון פרטי.
איפה זה נופל
הבעיה המיידית היא שהדמו תקוע כרגע על שגיאת הגדרה, כך שאי אפשר לבדוק אותו בדפדפן בלי להוריד את הקוד עצמאית. בנוסף, המודל אומן רק על דיבור ולא יתאים למוזיקה או לסאונד אחר. המפתחים גם מציינים שהאימון לא הסתיים ושהוא עדיין מתקשה במקרים של פגיעה קיצונית מדי באות.
שאלות
נפוצות
למה האפליקציה לא מגיבה בדפדפן?
המרחב נמצא כרגע בסטטוס של שגיאת קונפיגורציה. המשמעות היא שהשרת נכשל בעלייה ולא ניתן להשתמש בממשק הרשת עד שבעל הפרויקט יתקן את ההגדרות.
האם אפשר להריץ את המודל עצמאית?
כן. הקוד והמשקולות זמינים להורדה, ואפשר לטעון את המודל בפייתון בעזרת ספריית transformers עם trust_remote_code וקובץ משקולות מקומי או דרך סביבת Colab.
האם זה עובד על שירים ומוזיקה?
לא. המודל אומן ספציפית על דיבור אנושי, ובתיעוד נכתב במפורש שהוא לא מותאם למוזיקה או לאפקטים קוליים.
איך מריצים
נכנסים לממשק, בוחרים דוגמה מוכנה או מעלים קובץ משלכם ולוחצים על הכפתור כדי להתחיל. בפועל, כרגע יש שגיאת הגדרה בשרת והוא כלל לא עולה. מעבר לזה, המרחב מוגדר על מעבד בסיסי בלי מעבד גרפי צמוד, כך שגם כשהוא עובד, תהליך החישוב של מודל כזה ידרוש סבלנות ולא ירוץ בזמן אמת.
pip install -U huggingface_hub hf download jadechoghari/VoiceRestore
הקבצים
93 קבצים במאגר, 2.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- pytorch_model.bin1.2 GB
- pytorch_model_v2.bin1.2 GB
- BigVGAN/filelists/LibriTTS/train-full.txt51.8 MB
- long_form_sample.ogg2.9 MB
- BigVGAN/demo/examples/megalovania_24k.wav1.5 MB
- BigVGAN/demo/examples/musdbhq_44k.wav917.5 KB
- BigVGAN/demo/examples/musiccaps1_44k.wav887.1 KB
- BigVGAN/demo/examples/musiccaps2_44k.wav887.1 KB
- BigVGAN/demo/examples/hifitts_44k.wav570.0 KB
- BigVGAN/demo/examples/dance_24k.wav479.8 KB
- BigVGAN/demo/examples/jensen_24k.wav479.8 KB
- BigVGAN/demo/examples/queen_24k.wav479.8 KB
- BigVGAN/demo/examples/libritts_24k.wav281.6 KB
- test_output.wav167.5 KB
- imgs/restored.png122.6 KB
- imgs/degraded.png116.5 KB
- imgs/ground_truth.png114.6 KB
- test_input.wav111.9 KB
- audio/degraded.mp454.5 KB
- audio/restored.mp448.9 KB
- BigVGAN/train.py28.4 KB
- BigVGAN/discriminators.py21.5 KB
- BigVGAN/filelists/LibriTTS/dev-clean.txt18.4 KB
- BigVGAN/filelists/LibriTTS/val-full.txt18.0 KB
- BigVGAN/bigvgan.py17.5 KB
- BigVGAN/README.md17.4 KB
- BigVGAN/meldataset.py15.1 KB
- BigVGAN/demo/app.py14.8 KB
- BigVGAN/filelists/LibriTTS/test-clean.txt14.8 KB
- BigVGAN/filelists/LibriTTS/test-other.txt13.8 KB
- BigVGAN/filelists/LibriTTS/dev-other.txt11.9 KB
- BigVGAN/incl_licenses/LICENSE_311.4 KB
- BigVGAN/alias_free_activation/cuda/anti_alias_activation_cuda.cu10.3 KB
- voice_restore.py8.2 KB
- BigVGAN/loss.py8.2 KB
- BigVGAN/tests/test_cuda_vs_torch_model.py8.2 KB
- BigVGAN/nv-modelcard++/overview.md7.2 KB
- inference_long.py7.0 KB
- BigVGAN/alias_free_activation/cuda/type_shim.h5.8 KB
- modeling.py5.3 KB
הרישיון
בעמוד המרחב עצמו לא הוגדר רישיון רשמי. עם זאת, בתיעוד הפרויקט המקורי מצוין שהוא תחת רישיון MIT שמאפשר שימוש חופשי בקוד ובמודל.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש