Aero-1-Audio-Demo
רץ בדפדפןlmms-labרישיון לא דווח2025-04-29
הדגמת צ'אט שמנתחת קובצי קול ומחזירה תשובות טקסט לפי הוראות שתקלידו. היא פונה למי שרוצה לבדוק יכולות של תמלול, זיהוי כלי נגינה או הבנת רעשי רקע.
- —הורדות בחודש
- 43לייקים
מה זה
אתם מעלים קובץ אודיו דרך הממשק או מקליטים ישירות, וכותבים הוראה בתיבת הטקסט, למשל בקשה לתמלל את הנאמר או שאלה על מה ששומעים ברקע. בתגובה, המערכת מזרימה תשובת טקסט לתוך חלון הצ'אט.
מאחורי הקלעים הקוד טוען את המודל Aero-1-Audio-1.5B של lmms-lab עם מעבד נתונים ייעודי באמצעות ספריית transformers ו־librosa. הדוגמאות המובנות בממשק מציגות תמלול של קטעי דיבור כמו כנס של אנבידיה, מענה להוראה שמושמעת בהקלטה, זיהוי כלי נגינה מוביל בקטע מוזיקלי וזיהוי תנאי מזג אוויר מתוך רעשי רקע.
מתאים ל
- תמלול שיחות והרצאות
מעלים קטע דיבור קצר ומבקשים תמלול מלא של המילים שנאמרו ישירות לטקסט.
- זיהוי כלי נגינה
מזינים קטע מוזיקה ושואלים איזה כלי מנגן את הסולו כדי לקבל זיהוי ממוקד.
- ניתוח רעשי סביבה
בודקים קולות רקע כדי לזהות אירועים חיצוניים כמו מזג אוויר סוער.
- ביצוע פקודות קוליות
משמיעים הוראה מוקלטת ומבקשים מהמודל לענות על השאלה שהושמעה בה.
איפה זה נופל
הבעיה המיידית היא שההדגמה נמצאת כרגע במצב של תקלה ולא פועלת כלל. מעבר לכך, מדובר במודל שפועל רק בכיוון אחד: קלט קולי וטקסטואלי שמניב פלט טקסט בלבד, בלי יכולת להפיק אודיו בחזרה. הקוד גם דורש הרצת קוד מרוחק ומסתמך על גרסת 1.5B, כך שביצועים מורכבים יותר שנשענים על הקשר ארוך עשויים להיות מוגבלים.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
השימוש בהדגמה עצמה פתוח ללא תשלום בדפדפן. עם זאת, נכון לעכשיו היא נמצאת במצב שגיאה ולא מגיבה.
מה קורה עם קובצי הקול שאני מעלה?
הקבצים נשלחים לעיבוד בממשק Gradio שרץ על גבי שרתי התשתית. מכיוון שלא פורסם רישיון או הסכם פרטיות מסודר, עדיף לא להעלות הקלטות רגישות.
אפשר להריץ את זה מקומית?
כן, הקוד הציבורי מציג טעינה ישירה של המודל דרך AutoModelForCausalLM. תצטרכו סביבת פייתון מתאימה וכרטיס מסך של אנבידיה עם תמיכה ב־CUDA.
במה הדף הזה שונה מהמודל המקורי?
זהו ממשק משתמש בסיסי שנועד להדגמה בלבד ומריץ את גרסת ה־1.5B. המודל עצמו הוא משקולות שניתן לשלב במערכות תוכנה עצמאיות ללא תלות ב־Gradio.
איך משתמשים
לוחצים על כפתור ההקלטה או גוררים קובץ קול, מוודאים שההוראה הרצויה מופיעה בתיבת הטקסט ולוחצים על Submit. התשובה אמורה לזרום ישירות לחלון השיחה. ההדגמה מוגדרת לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה בעזרת ZeroGPU, אבל כרגע העמוד מדווח על שגיאת ריצה ולא זמין לשימוש בדפדפן.
הרישיון
הרישיון של ההדגמה לא דווח כלל במאגר. המשמעות היא שאין תנאי שימוש ברורים לשימוש מסחרי, וכל קובץ שמע שאתם מעלים לשם חשוף לתשתית הציבורית של השרת ללא התחייבות לפרטיות.