parakeet-tdt-0.6b-v2 — הדגמה
קוד פתוחnvidiacc-by-4.02024-01-31
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
הדגמת תמלול קולי של אנבידיה שמעבדת קובצי אודיו והקלטות ישירות דרך הדפדפן. היא מיועדת למי שצריך תמלול מדויק לקובצי דיבור עם חלוקה לזמנים.
- 2.3 GBמשקל הקבצים
- —הורדות בחודש
- 480לייקים
מה זה
אתם מעלים קובץ אודיו מהמחשב או מקליטים ישירות דרך המיקרופון בממשק, והמערכת ממירה אותו לטקסט. הממשק מחזיר טבלה שמציגה את התמלול מחולק למקטעים עם חותמות זמן, כולל נגן שמאפשר להאזין לכל מקטע בלחיצה על השורה שלו. בסיום התהליך מופיעים כפתורים להורדת התוצאה כקובץ CSV או כקובץ כתוביות מסוג SRT.
מאחורי הקלעים רץ מודל זיהוי דיבור של אנבידיה מתוך ערכת הכלים NeMo, בגרסת 0.6B. הקוד מטפל בהמרת האודיו לערוץ מונו ודגימה מחדש, ומכיל הגדרות מיוחדות לחיסכון במשאבים עבור קטעים שנמשכים מעל 8 דקות, עם תמיכה מוצהרת בקבצים באורך של עד 3 שעות.
מתאים ל
- יצירת כתוביות לסרטונים
מעלים קובץ דיבור באנגלית ומורידים קובץ SRT מוכן לסנכרון עם וידאו.
- תמלול הקלטות ארוכות
מריצים קובצי פודקאסט או שיחות באורך של עד 3 שעות ומייצאים לטבלת CSV.
- בדיקת איכות למודל NeMo
בוחנים את רמת הדיוק של גרסת ה־0.6B ישירות בדפדפן בלי להתקין ספריות מקומית.
איפה זה נופל
הקוד תומך אך ורק בקובצי מונו או סטריאו, וכל קובץ עם יותר משני ערוצים ייכשל מיד בהודעת שגיאה. מעבר לכך, המודל הזה אומן בעיקר על אנגלית, כך שאין כאן תמיכה מובנית בתמלול עברית. תכונות של הפרדת דוברים אינן קיימות בממשק, ותקבלו רק רצף טקסט מחולק לפי זמנים.
אותה משפחה
parakeet-tdt יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה להדגמה בדפדפן פתוחה בחינם לגמרי. אין צורך להכניס אמצעי תשלום ואין הגבלה על כמות ההרצות הבסיסית.
האם המודל תומך בתמלול בעברית?
לא. מודל Parakeet של אנבידיה מיועד לאנגלית, וטעינת הקלטה בעברית תניב ג'יבריש או ניסיונות תעתיק פונטיים שגויים.
מה קורה עם קובצי האודיו שאני מעלה?
הקבצים נשמרים זמנית בתיקיית הפעלה על השרת כדי לבצע המרה ועיבוד, והקוד מנקה את המשאבים בסיום. למרות זאת, המידע עובר דרך שרת מרוחק ולכן לא מתאים להקלטות חסויות.
האם אפשר להריץ את אותו הדבר על המחשב שלי?
כן, המודל והקוד מבוססים על ספריית NeMo הפתוחה של אנבידיה. אפשר להוריד את המשקלים מאותו מאגר ולהריץ אותם מקומית על כרטיס מסך מתאים.
איך מריצים
בוחרים בלשונית של קובץ או מיקרופון, מעלים או מקליטים, ולוחצים על כפתור התמלול הראשי. אפשר גם לטעון קובצי דוגמה מוכנים מראש שנמצאים מתחת לשדה ההעלאה. הריצה מתבצעת על מאיץ A10G דרך חומרת שיתוף, ולכן קבצים קצרים מתעבדים תוך שניות בודדות, אבל בעומס ייתכן שתמתינו בתור קצר להקצאת המעבד הגרפי.
pip install -U huggingface_hub hf download nvidia/parakeet-tdt-0.6b-v2
הקבצים
4 קבצים במאגר, 2.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
האפליקציה פועלת תחת רישיון פתוח מסוג CC-BY-4.0 שמתיר שימוש מסחרי והפצה עם מתן קרדיט. הקבצים שלכם מועברים לעיבוד על גבי השרת המארח, ולכן מומלץ להימנע מהעלאת הקלטות עם מידע רגיש או סודי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס