openai/whisper
רץ בדפדפןopenaiרישיון לא דווח2022-09-21
openai עומדים גם מאחורי Sora, ויש עליו סקירה כאן.
מעלים קובץ שמע או מקליטים ישירות, ומקבלים תמלול או תרגום מבוסס בינה מלאכותית. מתאים למי שרוצה לבדוק שמע קצר בלי לכתוב שורת קוד אחת.
- —הורדות בחודש
- 2,844לייקים
מה זה
מזינים קובץ אודיו ישירות מהמחשב, או מקליטים במקום דרך המיקרופון של הדפדפן. בנוסף יש תמיכה בהורדה ישירה מיוטיוב באמצעות yt-dlp, אם כי יש בקוד בדיקה שמגבילה את אורך הסרטון שמותר להזין. בצד הפלט מקבלים תיבת טקסט פשוטה של שלוש שורות עם התוכן שנאמר.
מאחורי הקלעים רץ המודל openai/whisper-large-v3 דרך ספריית transformers של Hugging Face. הממשק נותן לבחור בין שתי משימות בלבד, תמלול בשפת המקור או תרגום ישיר לאנגלית. אין כאן הגדרות מורכבות של חלוקה לדוברים או כוונון פרמטרים, אלא רק צינור עיבוד ישיר מהשמע אל הטקסט הכתוב.
מתאים ל
- תמלול הקלטות קצרות
מעלים קובץ דיבור או מקליטים בדפדפן ומקבלים במהירות את הטקסט המדויק שנאמר.
- תרגום דיבור לאנגלית
בוחרים באפשרות התרגום כדי לקבל פלט טקסטואלי באנגלית ישירות משמע בשפות אחרות.
- בדיקת שמע מיוטיוב
מזינים קטע וידאו קצר מיוטיוב כדי לבחון איך המודל מתמודד איתו בלי להוריד את הקובץ ידנית.
איפה זה נופל
ההדגמה מוגבלת מאוד לעומת שימוש ישיר במודל בקוד. אין אפשרות לקבל חותמות זמן מדויקות למילים, אי אפשר להפריד בין דוברים שונים, והקוד זורק שגיאה מפורשת אם מנסים לשלוח קישור יוטיוב ארוך מדי או ללחוץ בלי לצרף קובץ. היא נועדה להתרשמות ראשונית ולא להמרת הרצאות ארוכות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך הדפדפן פתוחה וחינמית לחלוטין. היא רצה על משאבי ענן שמוקצים לציבור ללא תשלום.
כמה זמן לוקח לתמלל קובץ?
העיבוד נשען על מאיץ A10G וגוזל שניות בודדות לקטעים קצרים. עם זאת, ייתכן עיכוב אם יש עומס משתמשים בו זמנית.
במה הממשק הזה שונה מהמודל המלא?
כאן מקבלים רק תמלול או תרגום בסיסי לתוך תיבת טקסט. אין פה חותמות זמן, חלוקת דוברים או שליטה בעומק הפרמטרים כמו בהרצה עצמאית.
מה קורה עם קובצי השמע שמעלים?
הקבצים נשמרים זמנית בתיקיית temp בשרת לצורך העיבוד. היות שמדובר בסביבה ציבורית, עדיף לא להעלות חומרים רגישים או סודיים.
איך משתמשים
בוחרים קובץ שמע או מקליטים, מסמנים אם רוצים תמלול או תרגום, ולוחצים על כפתור ההפעלה. האפליקציה רצה על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה בעזרת ספריית spaces, כך שעיבוד קבצים קצרים מתבצע במהירות סבירה, אבל ייתכן שתמתינו בתור קצר אם השרת עמוס. אין צורך בהרשמה או בהתחברות מראש כדי להריץ בדיקה.
הרישיון
בעמוד לא דווח רישיון רשמי עבור המרחב הזה. היעדר רישיון מוגדר אומר שאין אישור מפורש לשימוש מסחרי בקוד הממשק עצמו, וכדאי להיזהר מהעלאת קבצים רגישים או פרטיים לסביבה ציבורית כזו.