ClearVoice

מה זה

הממשק מחלק את העבודה לארבע משימות שונות דרך חבילת clearvoice. בלשונית הראשונה מעלים אודיו ובוחרים תדר דגימה של 16 או 48 קילוהרץ כדי לנקות רעשי רקע. בלשונית השנייה מכניסים הקלטה של שני אנשים שמדברים יחד ומקבלים שני קבצי אודיו נפרדים, אחד לכל דובר.

במשימת הרזולוציה מעלים קובץ של 16 קילוהרץ ומעלה, והמודל משחזר אותו לאיכות של 48 קילוהרץ עם אפשרות לסינון רעשים מובנה. הלשונית האחרונה מקבלת קובץ וידאו, סורקת פנים של הדוברים, ומחלצת רצועות וידאו נפרדות שבהן שומעים רק את הדובר המבוקש. הדוגמאות המוכנות כוללות שיחות במנדרינית ובאנגלית, וקבצי דיבור של גברים ונשים.

מתאים ל

• ניקוי רעשים מהקלטה

  העלאת קובץ קול מלוכלך וקבלת דיבור מסונן בתדר 16 או 48 קילוהרץ.

• הפרדת שני דוברים

  פיצול קובץ אודיו שבו שני אנשים מדברים במקביל לשני פלטים נפרדים.

• חילוץ קול לפי וידאו

  זיהוי פנים בסרטון והפרדת ערוץ הקול של כל אדם שמדבר בו.

• השבחת איכות אודיו

  שדרוג הקלטה ברזולוציה נמוכה לרמת דיוק של 48 קילוהרץ כולל סינון.

איפה זה נופל

ההפרדה בין דוברים מוגבלת לשני ערוצי פלט בלבד, כך שהיא לא תעזור בהקלטה של ישיבה מרובת משתתפים. מעבר לכך, הדמו קרס כרגע ואי אפשר להריץ בו דבר. מי שבונה על הפתרון הזה יצטרך לקחת את הקוד ממאגר הגיטהאב של הפרויקט ולהריץ אותו בסביבה עצמאית עם כרטיס מסך נורמלי.

איך משתמשים

נכנסים לעמוד, בוחרים לשונית, גוררים קובץ או מקליקים על אחת הדוגמאות, ולוחצים להרצה. נכון לעכשיו העמוד מדווח על תקלת ריצה, כך שהדמו הציבורי כלל אינו זמין לשימוש ישיר בדפדפן. בנוסף הוא מוגדר על חומרת מעבד בסיסית, מה שאומר שעיבוד קבצים, בייחוד וידאו, צפוי להיות איטי מאוד כשהמערכת כן תעלה.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי גם בפרויקטים מסחריים. אין מידע ספציפי לגבי שמירת הקבצים המועלים לשרת, ולכן לא מומלץ להעלות לשם הקלטות רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗