gpt-talking-portrait

מה זה

אתם מקליטים שאלה קולית ישירות דרך המיקרופון בממשק ומזינים מפתח גישה אישי של OpenAI. בתמורה מקבלים סרטון של דמות שמדברת ומשיבה לכם בקולה, לצד תמלול ותרגום לאנגלית של מה שהקלטתם.

מאחורי הקלעים הקוד שוזר יחד כמה שירותים שונים. Whisper Large v2 ממיר ומתרגם את ההקלטה לטקסט, המודל של OpenAI מייצר את התשובה המילולית, כלי הטקסט לקול IMS Toucan מייצר קובץ שמע, ובסוף מודל One Shot Talking Face מרכיב מזה וידאו של פנים מדברות עם סנכרון שפתיים.

מתאים ל

• בדיקת שרשור מודלים

  אפשר לבחון איך מחברים זיהוי קולי, מודל שפה והנפשת פנים לכדי ממשק אחד.

• הדגמת עוזר וידאו אינטראקטיבי

  קבלת תשובה קולית מונפשת במקום לקרוא פלט טקסטואלי רגיל.

• תרגום קולי והמחשה

  בדיקת הדיוק של Whisper בתרגום דיבור ישיר והעברתו למנוע דיבור.

איפה זה נופל

הבעיה המרכזית היא שהחלל מושהה כרגע ולכן אינו שמיש מיד. מעבר לזה, התלות במפתח OpenAI פרטי אומרת שהריצה עולה לכם כסף על הטוקנים. מכיוון שהמערכת משרשרת ארבעה מודלים שונים ברצף, תקלה או השהיה באחד מהם תפיל את כל התהליך בלי לתת תוצאה, ואין כאן אפשרות להעלות תמונת פנים משלכם.

איך משתמשים

לוחצים על כפתור ההקלטה, מדברים למיקרופון, מדביקים את מפתח ה־API שלכם בשדה הייעודי ולוחצים על שליחה. כרגע היישום במצב מושהה ולא רץ באופן פעיל, כך שלא ניתן להשתמש בו ישירות בדפדפן בלי להפעיל אותו מחדש. בנוסף, הוא מוגדר על חומרת מעבד בסיסית, מה שמבטיח זמני עיבוד ארוכים בהרבה לעומת מעבדים גרפיים.

הרישיון

היוצר לא הגדיר רישיון קוד פתוח מוכר לחלל הזה. במצב כזה זכויות היוצרים שמורות לו, ולא ברור אם מותר להעתיק את הקוד לשימוש מסחרי. המידע הקולי והמפתחות עוברים דרך שרתי השירותים המוטמעים.

הרישיון המלא ב־Hugging Face ↗