talk-to-ultravox

מה זה

אתם מדברים ישירות למיקרופון דרך חיבור רשת חי שמבוסס WebRTC, והמערכת מחזירה תשובה קולית ומציגה תמלול שוטף בצד בחלון שיחה. אין כאן צורך בהקלטת קובץ והעלאה ידנית שלו, אלא הדיבור שלכם זורם ישירות לעיבוד ברגע שאתם עוצרים לקחת אוויר.

מאחורי הקלעים רץ שילוב של שני מודלים מרכזיים. המודל העיקרי הוא fixie-ai/ultravox-v0_4_1-llama-3_1-8b, שמחבר הבנת שמע עם מודל שפה מבוסס Llama 3.1 כדי לנהל את הדיאלוג ולהפיק את המענה. במקביל, הקוד טוען את המודל openai/whisper-large-v3-turbo, שמטפל בתמלול המהיר של הנאמר כדי להציג את התמליל בחלון הצ'אט של הממשק תוך כדי הדיבור.

מתאים ל

• בדיקת ממשק קולי

  בוחנים איך נראית ומרגישה שיחה קולית חיה מול מודל שפה ללא צורך בהקלטת קבצים מראש.

• ניתוח תמלול ותגובה

  רואים את התמלול המהיר של וויספר טורבו עובד במקביל לתגובות של מודל אולטראווקס.

• בסיס לפיתוח WebRTC

  לומדים מהקוד איך לחבר צ'אט בוט קולי של גרדיו עם שרתי תקשורת בזמן אמת.

איפה זה נופל

הבעיה המרכזית היא שהדמו כרגע מושהה ולכן אי אפשר פשוט להיכנס ולדבר בלי להפעיל אותו מחדש. בנוסף, המודל מתבסס על אולטראווקס ועל וויספר, כך ששווה לבדוק היטב איך הוא מתמודד עם עברית או עם מבטא מקומי לעומת אנגלית. אל תצפו למענה מהיר אם החומרה חלשה יותר ממה שהוגדר במקור, והחיבור דורש רשת יציבה ללא ניתוקי קול.

איך משתמשים

לוחצים על הפעלת השמע בדפדפן, מאשרים גישה למיקרופון, ומתחילים לדבר באופן טבעי. הממשק מאזין ומזהה הפסקות בדיבור כדי לעבד את הקול ולהחזיר תשובה. ההדגמה מוגדרת לרוץ על מעבד גרפי בודד מסוג L4, אבל נכון לעכשיו היא נמצאת במצב מושהה. זה אומר שלא ניתן להשתמש בה ישירות כרגע עד שמישהו יפעיל אותה מחדש או שתשכפלו אותה לחשבון שלכם.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה לצורכים מסחריים ופרטיים. לגבי המידע והקול, התקשורת מועברת דרך שרתי העיבוד ומשלבת שירותי רשת כמו טוויליו, כך שלא כדאי להעביר שם מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗