gemma-avatar

מה זה

אתם מדברים ישירות למיקרופון, והקול שלכם עובר שרשרת עיבוד שלמה. בהתחלה silero-VAD מזהה מתי התחלתם וסיימתם לדבר, הדגם parakeet-tdt-1.1b הופך את הדיבור לטקסט, המודל google/gemma-4-31B-it שמתוחזק על Cerebras מייצר את התשובה, והדגם Qwen3-TTS הופך אותה בחזרה לקול.

במקביל לשמע, הדפדפן מרנדר ראש תלת-ממדי באמצעות ספריית TalkingHead על בסיס three.js. תנועות השפתיים לא מגיעות מתוזמנות מראש מהשרת. רכיב שרץ בדפדפן מנתח את גלי הקול בזמן אמת, מפרק אותם לפריימים של MFCC ומתאים להם תנועות פה בעיכוב של כחמישים מילישניות. המודל עצמו גם מפעיל פקודות שמורות לחיוך, משיכת כתפיים או מחוות ידיים תוך כדי שיחה.

מתאים ל

• הדגמת שיחה קולית

  בדיקת תקשורת קולית מול Gemma 4 עם אווטאר שמגיב לדיבור ומחווה מחוות.

• בדיקה ללא מיקרופון

  הרצה עם פרמטר fakemic כדי לבחון את הממשק והאנימציה בלי לחבר ציוד שמע.

• שילוב דמויות מותאמות

  טעינת דמויות מ־Ready Player Me שכוללות תמיכה בפה ובהבעות תלת-ממדיות.

איפה זה נופל

אם תעברו לטאב אחר בדפדפן, האנימציה של האווטאר תקפא לגמרי כי הרינדור תלוי ישירות בפריימים פעילים של המסך, למרות שהסאונד ימשיך להתנגן. המערכת דורשת מודלים תלת-ממדיים מאוד ספציפיים שכוללים התאמות של Mixamo וצורות blend של Oculus ושל ARKit. בנוסף, המודל מבוסס על תשתית שרתים חיצונית, ואם רוצים לעבוד מקומית חייבים להגדיר כתובת שרת קולי פעיל או פרוקסי בהגדרות.

איך משתמשים

לוחצים על Start talking ומתחילים לדבר אל המיקרופון של המחשב. התקשורת עובדת בפרוטוקול Realtime של OpenAI דרך WebSocket מול השרת של האגינג פייס, בקצב דגימה של 16 קילו-הרץ לשני הכיוונים. אפשר לקטוע את האווטאר באמצע דיבור והוא עוצר במקום. למרות שהמכולה הזו יושבת על מעבד בסיסי, העיבוד הקולי הכבד והרצת המודלים מתבצעים בשרתים ייעודיים מאחורי הקלעים, כך שהמעבד המקומי בעיקר מגיש את ממשק הרשת.

הרישיון

היוצר לא דיווח על רישיון לתוכנה הזו. כשאין רישיון מוגדר, הקוד והחומרים לא מורשים אוטומטית לשימוש מסחרי או להפצה מחדש, ואי אפשר להסתמך עליהם לפיתוח מסחרי בלי אישור מפורש ממי שהעלה אותם.

הרישיון המלא ב־Hugging Face ↗