Kroko-Streaming-ASR-Wasm
רץ בדפדפןBanafoרישיון לא דווח2025-01-29
תמלול דיבור ישירות בדפדפן בזמן אמת, בלי לשלוח אודיו לשרת מרוחק. הפתרון מיועד למפתחים שרוצים לבדוק זיהוי קולי מקומי מבוסס WebAssembly.
- —הורדות בחודש
- 39לייקים
מה זה
מזינים קול דרך המיקרופון או מזרימים אודיו, ומקבלים טקסט כתוב שמתעדכן תוך כדי דיבור. המערכת מבוססת על מנוע זיהוי הדיבור Kroko, שרץ כולו בתוך הדפדפן באמצעות WebAssembly, כך שכל עיבוד האותות והפענוח מתבצעים על המעבד של המכשיר המקומי.
הפרויקט מציג מודלים קהילתיים של החברה ומדגים איך לשלב תמלול שוטף באפליקציות צד לקוח. לפי המידע שפורסם, ישנם מודלים חינמיים לצד גרסאות מסחריות מתקדמות יותר, אך ההדגמה הזו מציגה את יכולת הריצה הבסיסית בדפדפן בלי תלות בשרת חיצוני או בתשתיות ענן כבדות.
מתאים ל
- בדיקת תמלול מקומי בדפדפן
ניסיון מעשי של טכנולוגיית WebAssembly לזיהוי דיבור ישיר אצל המשתמש ללא צורך בשרת.
- תמלול שיחות בזמן אמת
המרת דיבור חי לטקסט שמוצג מיד על המסך במהלך שיחה או הקלטה קולית.
- הערכת מודלי Kroko
בדיקת מהירות התגובה ואיכות הזיהוי של המנוע הקהילתי לפני רכישת גרסה מסחרית.
איפה זה נופל
ההדגמה מתמקדת בהזרמת קול רציפה, ולא בטוח שהיא תתמודד היטב עם רעשי רקע כבדים או קבצי שמע ארוכים מוקלטים מראש. מעבר לכך, לא מצוין אילו שפות נתמכות במודל הספציפי הזה, ובמיוחד אין תיעוד לגבי תמיכה בעברית, כך שסביר להניח שהביצועים מוגבלים לאנגלית בלבד. כדאי לבדוק את הדיוק לפני שבונים על זה למוצר אמיתי.
שאלות
נפוצות
האם השימוש בהדגמה הזו עולה כסף?
לא, הגישה להדגמה בדפדפן חופשית לחלוטין וללא עלות. עם זאת, החברה מציעה גם מודלים מסחריים בתשלום לפרויקטים שדורשים ביצועים גבוהים יותר מעבר למודלי הקהילה הבסיסיים.
מה קורה עם קובצי השמע והפרטיות שלי?
הקוד מבוסס על WebAssembly ורץ כולו בתוך הדפדפן שלכם. המשמעות היא שהאודיו מעובד מקומית במכשיר ואינו נשלח לשרתים חיצוניים לצורך התמלול.
האם אפשר להריץ את זה בפרויקט שלי באופן מקומי?
כן, המנוע מוגדר כקוד פתוח ונועד להטמעה ישירה באפליקציות של מפתחים. ניתן למצוא את המאגרים ודוגמאות הקוד בחשבון הגיטהאב של הפרויקט.
במה שונה ההדגמה הזו מהמודל המלא?
ההדגמה מציגה את יכולת הריצה הקלה בדפדפן, המבוססת לרוב על מודלים קהילתיים קטנים יותר. המודלים המסחריים של החברה עשויים לספק דיוק גבוה יותר ודרישות חומרה שונות.
איך משתמשים
נכנסים לדף, מאשרים גישה למיקרופון ומתחילים לדבר כדי לראות את התמלול מופיע על המסך. אין צורך בהרשמה, אין תור ואין זמני המתנה מול שרת, אבל טעינת המודל הראשונית לדפדפן עשויה לקחת כמה שניות בהתאם לחיבור האינטרנט שלכם. מאחר שהקוד רץ מקומית, מהירות התגובה תלויה אך ורק בעוצמת המעבד במחשב או בטלפון שלכם.
הרישיון
הרישיון של החלל עצמו לא דווח בעמוד. המפתחים מציינים שמודלי הקהילה שלהם מופצים תחת רישיון CC-BY-SA, בעוד שמודלים מתקדמים יותר דורשים רישיון מסחרי, כך שצריך לברר את תנאי השימוש המדויקים לפני שמשלבים את הקוד במוצר סגור.