mini-omni2-webrtc

מה זה

אתם מעלים תמונה ומדברים לתוך המיקרופון, ומקבלים תגובה קולית שחוזרת ישירות לשיחה המוצגת בממשק. המערך מחבר בין ערוצי קול ותמונה לתוך צ'אט אינטראקטיבי שבו הקלט הקולי שלכם מומר ומוצג כהודעות קוליות ברצף הדיון.

מאחורי הקלעים רץ שילוב של שלושה מודלים: mini-omni2 לעיבוד הרב-ערוצי, snac_24khz לדחיסה ופענוח של האודיו, וברקע מוזכר גם המודל StableBeluga2. התקשורת עצמה עוברת ברכיב WebRTC דרך ספריית gradio-webrtc יחד עם תמיכה של שרתי Twilio, מה שנועד לחסוך השהיות בהעברת השמע בזמן אמת.

מתאים ל

• שיחה קולית על תמונה

  מעלים צילום ושואלים עליו שאלות ישירות בקול כדי לשמוע תשובה מהמודל.

• בדיקת ממשק WebRTC

  בוחנים איך gradio-webrtc מתמודד עם תעבורת אודיו דו-כיוונית בדפדפן.

• הערכת מהירות תגובה

  בודקים את זמני ההשהיה של מודל mini-omni2 מול פענוח שמע בזמן אמת.

איפה זה נופל

הבעיה המיידית היא שהמרחב נמצא כרגע במצב של תקלה ולא פועל. מעבר לזה, חומרת t4-small מוגבלת מאוד עבור שילוב של מודלי שפה וראייה יחד עם קידוד אודיו של 24kHz. אל תצפו לחוויה רציפה כמו בהדגמות המסחריות הגדולות, ובטח שלא לזיהוי עברית מדויק, כיוון שהמודלים האלה מתמקדים בעיקר באנגלית.

איך משתמשים

בפועל נכנסים לדפדפן, מאשרים גישה למיקרופון, מעלים קובץ תמונה לשדה המתאים ומתחילים לדבר. אין צורך בהרשמה או בהזנת פרטי תשלום, אבל כרגע הדף מדווח על שגיאת ריצה. כשהוא עובד, החומרה שמוקצית לו היא t4-small, כרטיס גרפי צנוע יחסית שמריץ מודלים כבדים, כך שזמני התגובה עשויים להיות אטיים מהרגיל.

הרישיון

הקוד מפורסם ברישיון mit פתוח ומתירני שמאפשר שימוש חופשי, שינוי והפצה. התוכן שאתם מעלים מועבר דרך שרת ההדגמה ורכיבי WebRTC של צד שלישי, ולכן לא מומלץ להעלות תמונות פרטיות או להקליט מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗