resemble-enhance — הדגמה

מה זה

אתם מעלים קובץ אודיו של דיבור, והמערכת מחזירה שני נגנים נפרדים: אחד עם הקלטה שעברה סינון רעשים בלבד, והשני עם תוצאה משוחזרת ומורחבת. אפשר לשחק בממשק עם סליידרים להגדרות העיבוד ותיבת סימון, ולבחור את אופן הפעולה הרצוי.

מאחורי הקלעים רצים שני מודולים נפרדים שאומנו על נתוני דיבור באיכות של 44.1kHz. החלק הראשון מפריד את הדיבור מרעשי הרקע ומנקה את ההקלטה, והחלק השני משחזר עיוותים באודיו ומרחיב את רוחב הפס של הצליל כדי לתת לקול נפח עשיר יותר.

מתאים ל

• ניקוי הקלטות קול

  הסרת רעשי מזגן, רוח או רחש סטטי מקטעי דיבור שנשמעים מלוכלכים.

• שיפור איכות של מיקרופון

  הרחבת רוחב הפס לשיחות קוליות שהוקלטו באיכות נמוכה כדי להישמע קרוב יותר ל־44.1kHz.

• בדיקת המודל לפני הטמעה

  השוואת התוצאה הנקייה לעומת המשוחזרת ישירות בדפדפן בלי להוריד את המשקלים למחשב.

איפה זה נופל

הממשק מגביל את אורך הקבצים לשישים שניות לכל היותר, כך שאי אפשר לזרוק פנימה פרק שלם של פודקאסט או שיעור מוקלט. אם תנסו להעלות קובץ ארוך יותר, תקבלו הודעת אזהרה והעיבוד פשוט לא יקרה.

המודלים אומנו ספציפית על דיבור אנושי, ולכן מוזיקה, שירה או צלילי רקע שאינם קול אדם עלולים להתעוות לגמרי. בנוסף, מנגנון הרחבת התדרים מייצר מידע יש מאין על בסיס מה שהוא מנחש שהיה שם, מה שלפעמים נשמע מתכתי או מלאכותי מדי.

איך מריצים

גוררים קובץ אודיו קצר לתוך הממשק, משנים את הסליידרים אם רוצים שליטה בעוצמת הניקוי, ולוחצים על כפתור ההרצה. העיבוד רץ על גבי מעבד גרפי ייעודי מסוג A10G דרך ZeroGPU, כך שהתוצאה מתקבלת תוך שניות בודדות ללא צורך בהתקנה מוקדמת או בהרשמה.

pip install -U huggingface_hub
hf download ResembleAI/resemble-enhance

הקבצים

8 קבצים במאגר, 773 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• enhancer_stage2/ds/G/default/mp_rank_00_model_states.pt713.2 MB
• Background Music.mp433.7 MB
• Archived Speech.mp433.3 MB
• Street Noise.mp430.0 MB
• .gitattributes1.7 KB
• README.md865 B
• enhancer_stage2/hparams.yaml717 B
• enhancer_stage2/ds/G/latest7 B

הרישיון

הקוד והמודל שוחררו תחת רישיון MIT, מה שמאפשר שימוש חופשי לחלוטין כולל שימוש מסחרי, שינוי והפצה. החומר שאתם מעלים עובר עיבוד בשרת שבו רץ הממשק, לכן לא מומלץ להעלות הקלטות עם מידע רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗