canary-1b-v2

מה זה

מדובר במודל שמיעה שמיועד לתמלול דיבור ותרגום ישיר לאנגלית, מבוסס על ארכיטקטורת FastConformer וכולל 979 מיליון פרמטרים. הוא אומן על מאגרי הנתונים Granary ו־nemo-asr-set-3.0 של אנבידיה, ותומך בשפות אירופאיות רבות כמו גרמנית, ספרדית, צרפתית, רוסית והולנדית.

תוצאות המדידה מראות הבדלים ניכרים בביצועים בין השפות השונות. באנגלית, ספרדית ואיטלקית המודל מציג שגיאות תמלול נמוכות במיוחד במבחן FLEURS, עם 2.90 אחוז שגיאה בספרדית ו־4.50 אחוז באנגלית. לעומת זאת, בשפות כמו מלטזית שיעור השגיאה קופץ ל־18.31 אחוז, וגם בתרגום ישיר לאנגלית הציונים משתנים בהתאם לאיכות המידע בכל שפת מקור.

מתאים ל

• תמלול קול באנגלית וספרדית

  מציג שיעור שגיאה של פחות מחמישה אחוזים במבחני שמע, ולכן מתאים למוקדי שירות או פודקאסטים.

• תרגום שיחות לאנגלית

  ממיר קובצי שמע ממגוון שפות אירופאיות ישירות לטקסט אנגלי בלי צורך בשלב תמלול נפרד.

• עיבוד אודיו על שרת פנימי

  מאפשר ריצה מקומית מלאה על חומרת אנבידיה דרך NeMo בלי להוציא קבצים רגישים לרשת.

איפה זה נופל

החיסרון המרכזי למפתח הישראלי הוא היעדר מוחלט של עברית וערבית מרשימת השפות הנתמכות. בנוסף, המודל מתקשה בשפות עם פחות נתוני אימון, כמו אסטונית או אוקראינית, שבהן שיעור השגיאה במבחן CoVoST2 מטפס מעל 18 אחוז. התרגום הישיר מוגבל אך ורק משפות המקור לאנגלית, ואינו תומך ביעדים אחרים.

אותה משפחה

canary יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו משתמשים בספריית NeMo של אנבידיה בסביבת פייתורץ'. המשקל הכולל של הקבצים מגיע ל־9.6 גיגה-בייט, כך שכרטיס מסך בודד עם 16 גיגה זיכרון יספיק לטעינה ולהסקה מהירה של קובצי קול.

אם יש לכם תשתית ענן עם כרטיסי אנבידיה וצורך בעיבוד מקומי מטעמי פרטיות, שווה להרים אותו לבד. אם היקף התמלול שלכם קטן ולא מצדיק החזקת שרת ייעודי שפועל ברציפות, קריאה לשירות מנוהל חיצוני תצא זולה ופשוטה יותר.

pip install -U huggingface_hub
hf download nvidia/canary-1b-v2

הקבצים

13 קבצים במאגר, 9.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• canary-1b-v2.nemo6.4 GB
• model.safetensors3.9 GB
• tokenizer.json2.2 MB
• plots/asr.png146.9 KB
• plots/en_x.png128.9 KB
• plots/x_en.png125.5 KB
• README.md72.4 KB
• .gitattributes1.6 KB
• config.json1.6 KB
• chat_template.jinja534 B
• processor_config.json362 B
• tokenizer_config.json328 B
• generation_config.json252 B

הרישיון

הרישיון הוא cc-by-4.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו כחלק ממוצר, כל עוד נותנים קרדיט מתאים לאנבידיה ומציינים את הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗