paraformer-zh

מה זה

מדובר במודל זיהוי דיבור של 220 מיליון פרמטרים שאומן על יותר משישים אלף שעות הקלטה. המבנה שלו אינו אוטורגרסיבי, מה שאומר שהוא מחשב את כל התוצאה בבת אחת במקום לנחש טוקן אחרי טוקן ברצף. לפי נתוני הפיתוח הוא מסוגל לרוץ במהירות של פי מאה ועשרים מזמן אמת על כרטיס מסך, מה שהופך אותו למהיר משמעותית ממודלים כמו וויספר באותן משימות.

הוא מתמודד עם דיבור במנדרינית, באנגלית ובעירוב של שתיהן. מעבר לתמלול בסיסי, הוא מתחבר לחבילה שלמה שכוללת זיהוי מקטעי דיבור, הוספת סימני פיסוק וחלוקה לפי דוברים שונים, כך שאפשר להוציא ממנו טקסט מסודר וקריא מהקלטות ארוכות.

מתאים ל

• תמלול שיחות במוקדי שירות

  פענוח מהיר של הקלטות נציגים בסינית ובאנגלית בקצב גבוה פי כמה מזמן אמת.

• תיעוד פגישות מרובות דוברים

  שילוב עם מודלי הזיהוי הנלווים כדי לקבל טקסט מחולק לפי דובר ועם סימני פיסוק.

• מערכות תמלול אופליין

  משקל קל של פחות מג'יגה בייט שמאפשר ריצה מקומית מלאה בלי לשלוח שמע לרשת.

איפה זה נופל

הוא מוגבל אך ורק למנדרינית ולאנגלית, כך שאין מה לחפש כאן תמיכה בעברית או בשפות אחרות. כדי לקבל תוצאה סבירה בהקלטה ארוכה של פגישה חייבים לטעון לצידו מודלים נלווים לזיהוי דוברים ופיסוק, מה שמסבך את הקוד ומאט את הביצועים ביחס למדידות הנקיות. מעבר לזה, קצב הדגימה מוגבל לשישה עשר קילוהרץ, ולכן הקלטות טלפוניות ישנות עשויות לדרוש המרה מוקדמת ובדיקת איכות קפדנית.

איך מריצים

מריצים אותו בקלות דרך ספריית funasr בפייתון, כשהוא דורש קבצים במשקל כולל של כ־848 מגה בייט. עם משקל כזה וגודל של 220 מיליון פרמטרים, כמעט כל כרטיס מסך מודרני ואפילו מעבד סביר יריצו אותו בלי מאמץ, ואפשר גם לייצא אותו לפורמט ONNX לביצועים רזים יותר.

אם אתם צריכים תמלול שוטף תוך כדי דיבור, יש למפתחים גרסת סטרימינג ייעודית. אין טעם לשלם על שירותי ענן חיצוניים אם יש לכם שרת מקומי קטן שיכול לעכל את הקבצים, אבל אם אין לכם תשתיות לתחזק והנפח שלכם אפסי, שירות מנוהל יחסוך את כאב הראש.

pip install -U huggingface_hub
hf download funasr/paraformer-zh

הקבצים

10 קבצים במאגר, 848 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pt880.5 MB
• seg_dict8.3 MB
• example/asr_example.wav417.7 KB
• tokens.json93.7 KB
• fig/struct.png49.9 KB
• am.mvn11.2 KB
• README.md3.5 KB
• config.yaml2.5 KB
• .gitattributes1.6 KB
• configuration.json472 B

הרישיון

הוא מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהריץ אותו בכל תשתית שתבחרו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗