parakeet-rnnt-1.1b
קוד פתוחnvidiacc-by-4.02023-12-27
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
תמלול קול לאנגלית בלבד מבית אנבידיה וסונו, שנשען על ארכיטקטורת FastConformer עם פענוח מסוג RNNT. הוא מכוון לדיוק גבוה בהקלטות מורכבות.
- 1.1Bפרמטרים
- 8.0 GBמשקל הקבצים
- 3,929הורדות בחודש
- 182לייקים
מה זה
מדובר במודל זיהוי דיבור של 1.1 מיליארד פרמטרים, שנבנה בשיתוף פעולה בין אנבידיה לבין הצוות של Suno.ai. המודל אומן על כ־64 אלף שעות של דיבור באנגלית, מתוכן 40 אלף שעות של דאטה פרטי והשאר מאגרים פתוחים כמו Librispeech, Switchboard ו־People's Speech. הבסיס שלו הוא FastConformer עם תת-דגימה של פי 8 וראש מסוג Transducer, ארכיטקטורה שמטרתה לשמור על קצב עיבוד יעיל בלי לוותר על איכות התוצאה.
במדדי השגיאות המדווחים בפענוח ישיר ללא מודל שפה חיצוני, הוא מוציא 1.46 אחוזי שגיאה על Librispeech הנקי, אבל המבחן האמיתי הוא הדאטה המלוכלך. בהקלטות של שיחות ועידה עמוסות כמו AMI אחוז השגיאה עולה ל־17.1, ובשיחות פיננסיות של Earnings-22 הוא עומד על 14.11. זה מראה שהוא עמיד יחסית לרעשים ודיבור חי, אך עדיין מתקשה כשדוברים עולים זה על זה.
מתאים ל
- תמלול הקלטות באנגלית
מתאים לתמלול שיחות ופודקאסטים באנגלית הדורשים דיוק גבוה, בזכות אימון על 64 אלף שעות דיבור.
- אימון ייעודי על דומיין
משמש נקודת מוצא טובה לכוונן עדין דרך NeMo עבור מושגים טכניים או מבטאים ספציפיים באנגלית.
- בניית מאגרי טקסט מאודיו
מאפשר המרה אוטומטית של כמויות קבצים גדולות לטקסט לצורך חיפוש ואינדוקס פנימי בארגון.
איפה זה נופל
החיסרון המרכזי הוא היעדר מוחלט של תמיכה בשפות אחרות. המודל אומן על אנגלית בלבד ופולט טקסט באותיות קטנות ללא אותיות גדולות. בנוסף, הוא אינו נתמך כרגע ב־NVIDIA Riva לפריסה מואצת בסביבות ייצור, והכרטיס אינו כולל נתונים על סימני פיסוק או חלוקת דוברים, כך שתצטרכו לטפל בזה בעצמכם.
שאלות
נפוצות
האם המודל מתאים לתמלול הקלטות בעברית?
לא. המודל אומן אך ורק על דיבור באנגלית, והטוקנייזר שלו כולל תווים באנגלית בלבד. כל ניסיון להזין לו דיבור בעברית יוביל לפלט שגוי או ג'יבריש.
האם הטקסט שמתקבל כולל אותיות גדולות וסימני פיסוק?
לא, הפלט של המודל יוצא באותיות קטנות בלבד ללא אותיות גדולות. אם אתם צריכים טקסט קריא לפרסום או לתרגום, תצטרכו להעביר את הפלט דרך מודל נוסף לשיחזור פיסוק ואותיות רישיות.
איך מריצים
כדי להריץ אותו מקומית צריך כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי עבור הרצה יציבה, שכן משקל הקבצים לבדו תופס שמונה גיגהבייט. אפשר לטעון אותו ישירות דרך ספריית NeMo של אנבידיה או דרך Transformers החל מגרסה 5.13.0 באמצעות צינור העבודה הרגיל של Hugging Face.
המודל דורש אודיו מונו שנדגם ב־16 קילוהרץ. אם אין לכם תשתית שרתים ייעודית עם מאיצים מתאימים, הרצה של מודל בגודל כזה תהיה כבדה ויקרה, ויהיה פשוט יותר לפנות לשירותי ענן מוכנים או למודלים קלים יותר שרצים על מעבד רגיל.
pip install -U huggingface_hub hf download nvidia/parakeet-rnnt-1.1b
הקבצים
10 קבצים במאגר, 8.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל משוחרר ברישיון CC-BY-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של המודל כחלק ממוצר, בתנאי שאתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים בקוד או במשקולות.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס