Talk_to_Multilingual_AI_WhisperBloomCoqui

מה זה

אתם מקליטים קטע קול ישירות מהמיקרופון, והקוד מעביר אותו דרך שלושה רכיבים שונים. תחילה whisper של OpenAI מתמלל את ההקלטה ומתרגם אותה לאנגלית. הטקסט עובר למודל bigscience/bloom שמייצר תשובה, ולבסוף מנוע Coqui TTS ממיר את הטקסט בחזרה לקובץ שמע שמושמע לכם.

הממשק פולט תיבות טקסט עם התמלול המקורי, התרגום לאנגלית, תשובת המודל בשפה שלכם ותשובת המודל באנגלית, לצד נגן שמע לתשובה הקולית. המערכת מוגדרת בעיקר לאנגלית, ספרדית וצרפתית, ובקוד מצוין כי עבור כל שפה אחרת השמע שיוחזר יהיה באנגלית.

מתאים ל

• בדיקת שרשרת קולית

  בחינה של שילוב whisper יחד עם bloom ומנוע הקראה בקוד אחד.

• תרגום קולי מאולתר

  קבלת תמלול ותרגום טקסטואלי לאנגלית מתוך הקלטת קול.

• התנסות במענה רב לשוני

  בדיקת היכולת של bloom לקבל שאלות בספרדית או צרפתית ולהגיב.

איפה זה נופל

הבעיה המרכזית היא שהיישום פשוט לא עובד כרגע בגלל שגיאת בנייה בעמוד. מעבר לכך, התמיכה בשפות מוגבלת לשלוש בלבד בכל הקשור לפלט קולי, כך שאין כאן מענה קולי בעברית. שילוב של שלושה מודלים כבדים על חומרת מעבד חלשה יוצר צוואר בקבוק משמעותי שמקשה על שיחה רציפה.

איך משתמשים

לוחצים על כפתור ההקלטה במיקרופון, מדברים ולוחצים על הכפתור שמפעיל את הצינור. אין צורך בהרשמה או התחברות כדי לגשת לעמוד.

כרגע האפליקציה נמצאת במצב של שגיאת בנייה ולכן אי אפשר להריץ אותה ישירות בדפדפן. בנוסף, היא מוגדרת לרוץ על מעבד בסיסי, כך שגם אם הקוד נבנה בהצלחה, שרשור של תמלול, מודל שפה והפקת קול צפוי להיות איטי במיוחד.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד, כולל עריכה, הפצה והרצה מסחרית. לגבי קובצי השמע והטקסטים שמקליטים או נוצרים, השימוש בהם כפוף לתנאי השימוש של הספריות והמודלים שנטענים בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗