LavaSR — הדגמה

מה זה

הממשק מיועד להשבחת דיבור וסופר-רזולוציה של סאונד. אתם גוררים קובץ שמע פנימה, והצד השני מציג שני נגנים: הראשון משמיע את הקלט המקורי לאחר שנדגם מחדש ל־16kHz, והשני מוציא את התוצאה המעובדת והמשודרגת באיכות של 48kHz.

מאחורי הקלעים הקוד טוען את המודל LavaEnhance2 מתוך החבילה של LavaSR. המטרה כאן היא להעלות את קצב הדגימה ולהחזיר תדרים שאבדו בהקלטות מכווצות או פגומות, כשהמפתח מגדיר את הכלי כמודל אוניברסלי ומהיר במיוחד לשיפור דיבור.

בתוך חלון ההגדרות המתקדמות אפשר לשחק עם סליידר של קצב דגימה, להפעיל תיבת סימון לניקוי רעשים נוסף (denoising), ולקבוע אם לעבד את המידע בקבוצות (batching) לפני ששולחים את הפקודה לביצוע.

מתאים ל

• השבחת הקלטות קול ישנות

  מעלים קובץ דיבור דחוס או פגום ומקבלים קובץ פלט בתדר 48kHz עם צליל עמוק וברור יותר.

• סינון רעשים מהקלטת פודקאסט

  מסמנים את אפשרות ה־denoising כדי להנמיך רחשי סביבה שנקלטו במיקרופון ביתי לפני העריכה.

• הכנת שמע למודלים אחרים

  מנקים ומשדרגים דגימות קול קצרות שנועדו לאימון מודלים של זיהוי דיבור או תמלול אוטומטי.

איפה זה נופל

המעבד החלש של שני ליבות מגביל מאוד את הביצועים, מה שאומר שסרטונים שלמים או שיחות ארוכות כנראה ייתקעו או יזחלו. בנוסף, המודל מתמקד בהשבחת דיבור ולא בעיבוד מוזיקה או שמע מורכב עם כמה שכבות. מי שמקליט עם רעשי רקע קיצוניים במיוחד עלול לקבל עיוותים מלאכותיים בקול של 48kHz, ולכן כדאי לבדוק קודם קטע קצר של כמה שניות לפני שמעבדים פרויקט חשוב.

איך מריצים

לוחצים על אזור ההעלאה, בוחרים קובץ שמע מהמחשב, ומחליטים אם לסמן ניקוי רעשים תחת ההגדרות המתקדמות. לחיצה על כפתור Enhance Audio מפעילה את העיבוד. המערכת רצה על חומרת מעבד בסיסית של שתי ליבות ללא מאיץ גרפי, כך שקבצים ארוכים ייקחו זמן והמהירות תלויה ישירות בעומס וגודל השמע. אין כאן צורך בהתחברות או פתיחת חשבון כדי לבדוק קובץ.

pip install -U huggingface_hub
hf download YatharthS/LavaSR

הקבצים

9 קבצים במאגר, 114 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• enhancer_v2/pytorch_model.bin56.3 MB
• enhancer/pytorch_model.bin54.4 MB
• LavaSR (1).mp48.4 MB
• denoiser/denoiser.bin803.0 KB
• .gitattributes1.6 KB
• README.md1.4 KB
• enhancer_v2/config.yaml526 B
• enhancer/config.yaml461 B
• config.json91 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. לגבי קובצי השמע שאתם מעלים, הם נשלחים לשרתי Hugging Face לצורך הריצה, כך שלא כדאי להעלות לשם הקלטות רגישות או מידע פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗