hf-realtime-voice

מה זה

האפליקציה מקבלת שמע ישירות מהמיקרופון, תמונות מהמצלמה לצורך ניתוח חזותי, וטקסט מהמשתמש. בתמורה היא מחזירה תשובה קולית מיידית לצד תמלול שרץ על המסך, ומאפשרת למודל לבצע חיפושים בגוגל דרך ממשק ייעודי.

מאחורי הקלעים רץ שילוב של שלושה מודלים: מנוע Parakeet TDT של אנבידיה מתמלל את הדיבור הנכנס, Gemma 4 של גוגל בתצורת 31 מיליארד פרמטרים מנהל את החשיבה והשיחה, ומנוע Qwen3 TTS מסנתז את קול התשובה. המערכת מיישמת את פרוטוקול Realtime הרשמי של OpenAI ועובדת בתעבורת WebSocket או WebRTC.

מתאים ל

• בדיקת שרתי דיבור

  חיבור מהיר של הדפדפן לתשתית מקומית לצורך בדיקת זמני תגובה ואיכות שמע.

• הדגמת מולטימודל

  שיחה קולית חיה תוך שיתוף וידאו מהמצלמה לצורך זיהוי עצמים מול המודל.

• ניסוי פרוטוקול זמן אמת

  בחינת תעבורת WebRTC מול WebSocket ביישומי עוזרים קוליים.

איפה זה נופל

האפליקציה הזו היא מעטפת בלבד. ללא שרת חיצוני שמריץ את מודלי השמע והשפה, הממשק אינו עובד ומציג שגיאת חיבור. התמיכה בעברית מוגבלת מאוד ותלויה לחלוטין ביכולות של Parakeet ו־Qwen3, שבנויים בעיקר לאנגלית. בנוסף, חיבור WebRTC אינו כולל שרת גישור, כך שחיבורי רשת ביתיים עם חסימות מסוימות עלולים להיכשל.

איך משתמשים

לוחצים על כפתור הכדור המרכזי, מאשרים גישה למיקרופון ומתחילים לדבר. אפשר להפעיל בהגדרות כלי חיפוש ברשת או להדליק מצלמה שמעבירה תמונות למודל. מכיוון שהדף רץ על חומרת מעבד בסיסית, הוא אינו מבצע את החישובים הכבדים בעצמו אלא מתפקד כממשק בלבד, כך שהתגובה תלויה לחלוטין בשרת שמחובר אליו מאחור. אם מוגדר ניתוב עומסים, ייתכן שתתבקשו להתחבר עם חשבון Hugging Face כדי לקבל תור.

הרישיון

הרישיון לא דווח בקוד המקור. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או להפצה מחדש של הקוד. מקטעי השמע נשמרים בזיכרון הדפדפן בלבד ואינם מועלים כהקלטה קבועה לשרת.

הרישיון המלא ב־Hugging Face ↗