AudioGPT
רץ בדפדפןAIGC-Audioרישיון לא דווח2023-04-03
ממשק צ'אט שמחבר בין מודלי שפה לעיבוד שמע ותמונות. הוא מיועד למי שרוצה לתמלל, לייצר דיבור או לנתח סאונד בפקודות טקסט, אבל כרגע הוא פשוט לא נטען.
- —הורדות בחודש
- 287לייקים
מה זה
האפליקציה בנויה כסוכן שיחה מבוסס LangChain ו־OpenAI. מקלידים פקודה בתיבת הטקסט או מעלים קובץ שמע או תמונה, והסוכן מפעיל שרשרת כלים ייעודיים. הוא שולח את המידע למודלים שונים כדי לפענח את הקובץ או להחזיר פלט מתאים, כמו שמע שנוצר מחדש או ספקטרוגרמה של Mel.
מתחת למכסה המנוע רצים מודלים מוכרים, ביניהם wav2vec2-base-960h של פייסבוק לזיהוי ותמלול דיבור באנגלית, לצד bert-base-uncased וגרסת BERT בסינית לעיבוד השפה. דוגמאות השימוש בממשק מציגות פקודות כמו יצירת קטע דיבור מהמשפט here we go, או בקשה לקבלת תיאור טקסטואלי לקובץ שמע שהועלה.
מתאים ל
- יצירת דיבור מטקסט באנגלית
שליחת פקודת טקסט לסוכן כדי לייצר קובץ שמע מדובר, כמו בדוגמה here we go.
- תמלול וניתוח קובצי שמע
העלאת קובץ קול כדי לקבל תיאור מילולי או תמלול באנגלית באמצעות wav2vec2.
- ניתוח תמונה לסאונד
העלאת תמונה לצורך חילוץ תיאור טקסטואלי ושימוש בו כבסיס לפעולות שמע שונות.
איפה זה נופל
הבעיה המרכזית היא שהקוד שבור והמערכת מושבתת. מעבר לכך, התלות במפתח OpenAI אומרת שגם אם העמוד היה נטען, השימוש כרוך בעלות צריכה מהחשבון האישי שלכם. בנוסף, מודל התמלול wav2vec2 מאומן על אנגלית בלבד וגרסאות ה־BERT תומכות באנגלית ובסינית, כך שאין כאן תמיכה בעברית.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
הגישה לעמוד בהאגינג פייס פתוחה, אך הקוד דורש הזנת מפתח API פרטי של OpenAI. המשמעות היא שכל פעולה מנצלת קרדיט מחשבון ה־OpenAI שלכם.
למה הממשק לא מגיב כשאני פותח אותו?
החלל נמצא כרגע במצב של BUILD_ERROR. יש תקלה בקוד או בהתקנת התלויות שמונעת מהאפליקציה להיבנות ולרוץ, ולכן אי אפשר לבצע בה פעולות.
האם האפליקציה תומכת בשמע בעברית?
המודלים המוגדרים בקוד כוללים את wav2vec2 שמאומן על מאגר של 960 שעות באנגלית, ודגמי BERT באנגלית ובסינית. אין במערכת רכיב ייעודי לפענוח או יצירת עברית.
איך משתמשים
בפועל אי אפשר להשתמש בה כרגע. העמוד מדווח על שגיאת בנייה (BUILD_ERROR), כך שהממשק כלל לא עולה בדפדפן. לפי הקוד, כדי להפעיל אותה נדרש להזין מפתח API אישי של OpenAI. החומרה שהוקצתה לה היא מעבד גרפי מסוג t4-medium, אך כל עוד מפתחי הפרויקט לא יתקנו את שגיאות הטעינה, הכפתורים לא פעילים.
הרישיון
הפרויקט לא מדווח על רישיון שימוש. המשמעות היא שאין הרשאה ברורה להשתמש בקוד, להעתיק אותו או להסתמך עליו לצרכים מסחריים, וזכויות היוצרים נשארות במלואן אצל היוצרים.