voice-chat-with-mistral

מה זה

אתם מקלידים שאלה בתיבת טקסט או מקליטים הודעה קולית ישירות דרך המיקרופון במחשב. בתגובה, הממשק מחזיר טקסט בצ'אט ומנגן קובץ שמע עם התשובה המוקראת.

מאחורי הקלעים רץ שילוב של מודל שפה מבוסס קובץ מכווץ בפורמט GGUF, או Mistral 7B Instruct או Zephyr 7B Beta דרך ספריית llama_cpp, יחד עם Whisper לתמלול הקלט הקולי. הפקת הדיבור מתבצעת באמצעות XTTS-v2 של Coqui. יש בממשק דוגמאות קול מוכנות מראש כמו עוזרת דיגיטלית ופיראט, שקובעות את גוון הקול שמקריא את התשובה.

מתאים ל

• בדיקת XTTS עם מודל שפה

  מאפשר לשמוע איך מודל סינתזת הדיבור של Coqui מתמודד עם פלט שנוצר בזמן אמת ממודלים קטנים.

• התנסות בשיחה קולית

  מתאים למי שרוצה לבדוק אינטראקציה מבוססת דיבור מול מודלי קוד פתוח במקום ממשק טקסט רגיל.

• השוואת מודלי טקסט

  בדיקת ההבדלים בתשובות בין Mistral לבין Zephyr תחת אותן הנחיות מערכת.

איפה זה נופל

ההדגמה לא תעבוד לכם כרגע כי היא מושהית לחלוטין. בקוד יש בדיקות שפה מפורשות, ואם המערכת מזהה שפה שהיא לא תומכת בה לדיבור, היא פשוט מקפיצה שגיאה ולא מפיקה קול. עברית לא נתמכת כאן היטב. בנוסף, הממשק נשען על קובצי שמע מוכנים מראש לדמויות, כך שאי אפשר ללמד אותו קולות חדשים מתוך העמוד עצמו.

איך משתמשים

כדי להתחיל בוחרים מודל שפה, בוחרים דמות קולית, ומקלידים הודעה או לוחצים על כפתור המיקרופון כדי להקליט. כרגע המרחב נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש. במקור הוא הוגדר לרוץ על חומרת t4-medium, מה שאומר שהמענה לשילוב של תמלול, מודל שפה והפקת אודיו צפוי לקחת כמה שניות טובות בכל פנייה.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלט, ואי אפשר לדעת בוודאות מה המגבלות החוקיות על התוכן שנוצר.

הרישיון המלא ב־Hugging Face ↗