omni-audio-demo
רץ בדפדפןNexaAIרישיון לא דווח2024-10-29
מעלים קובץ קול או מקליטים ישירות ומקבלים תגובה טקסטואלית מהמודל. מתאים למי שרוצה לבדוק יכולות הבנת אודיו בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 68לייקים
מה זה
הממשק מבוסס על המודל OmniAudio-2.6B של NexaAI, שנועד לעבד קלט קולי ולהחזיר פלט כתוב. אתם מזינים קובץ אודיו דרך רכיב ההקלטה או ההעלאה, מכוונים פרמטרים בעזרת סליידר וממתינים לתשובה שמופיעה בתיבת טקסט ייעודית.
בקוד רואים שימוש בתקשורת מבוססת websockets לצד מודול ה־Interface של גרדיו, וכן ספריות לטיפול בנתוני base64 ו־json. יש בממשק גם דוגמאות מוכנות מראש שמציגות קטעי קול שונים, כך שאפשר לבדוק את התנהגות המודל גם בלי להקליט את עצמכם.
מתאים ל
- בדיקת תמלול והבנה
העלאת קטעי דיבור קצרים כדי לראות אם המודל מזהה את הנאמר ומבין את ההקשר.
- ניסוי בדוגמאות מובנות
הרצת קטעי האודיו שמגיעים עם הממשק לבחינת מהירות התגובה ואיכות הטקסט.
- הערכת המודל לפני הטמעה
בדיקה ראשונית של גרסת 2.6B בדפדפן כדי להחליט אם כדאי להוריד ולהריץ אותה מקומית.
איפה זה נופל
הפלט הוא טקסט בלבד ולא קול חוזר, כך שלא מדובר בשיחה דו-כיוונית קולית. מעבר לזה, המרחב רץ על מעבד פשוט, מה שעלול לייצר צווארי בקבוק וזמני המתנה ארוכים שלא משקפים את מהירות המודל בחומרה חזקה. לא ידוע אם יש כאן תמיכה טובה בעברית, ולכן צריך לבדוק את זה לפני שמתכננים שימוש מעבר לאנגלית.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא, הגישה לממשק בדפדפן פתוחה לגמרי בחינם. אין צורך להזין אמצעי תשלום ואין מגבלת שימוש שמחייבת מנוי. כל מה שצריך זה לפתוח את העמוד ולהתחיל לבדוק.
כמה זמן לוקח לקבל תשובה?
מאחר שהמרחב רץ על מעבד בסיסי, העיבוד אינו מיידי ועלול לקחת מספר שניות עד דקות בהתאם לאורך הקובץ. אם יש עומס משתמשים בו-זמנית, ייתכן שתחוו עיכוב נוסף. זה לא מדד מדויק לביצועי המודל על חומרה מתאימה.
האם אפשר להריץ את זה באופן מקומי?
המודל OmniAudio-2.6B זמין עצמאית, כך שניתן עקרונית להוריד ולהריץ אותו בסביבה משלכם. ההדגמה הזו היא רק מעטפת גרפית פשוטה שנבנתה בגרדיו לצורך תצוגה. אם תרצו ביצועים טובים, תצטרכו מחשב עם כרטיס מסך מתאים.
מה קורה עם קובצי הקול שמעלים לממשק?
הקבצים נשלחים לעיבוד בשרת שמריץ את הדמו כדי לייצר את התשובה. מכיוון שלא פורסם רישיון או הסכם שימוש מסודר למרחב, עדיף לא להעלות הקלטות רגישות או מידע פרטי.
איך משתמשים
לוחצים על כפתור ההקלטה או בוחרים קובץ מקומי, משחקים עם ערכי הסליידר לפי הצורך ושולחים לעיבוד. ההדגמה פתוחה ישירות בדפדפן בלי צורך בחשבון או בהתחברות. החומרה שמוקצית כאן היא מעבד בסיסי בלבד, ולכן זמני התגובה יכולים להיות איטיים יחסית לעיבוד על מאיצים גרפיים ייעודיים.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין תנאי שימוש ברורים לשימוש מסחרי בקוד או בפלט, וכל קובץ שאתם מעלים עובר דרך השרתים של הדמו ללא מדיניות פרטיות מוגדרת.