wav2vec2-base-vietnamese-250h

מה זה

מדובר במודל זיהוי דיבור אקוסטי מבוסס CTC שאומן מראש על 13,000 שעות אודיו מוייטנאמית מיוטיוב, ועבר כוונון עדין על 250 שעות מתויגות ממאגר VLSP. ארכיטקטורת הבסיס כוללת 12 שכבות ומשקל קבצים צנוע של 1.2 גיגה בייט, כך שהוא נכנס בקלות לזיכרון של כרטיסי מסך בסיסיים.

המפתח מספק לצד המודל גם מודל שפה של 4-grams שאומן על 2 גיגה בייט של טקסט מדובר, והשילוב הזה משנה את התמונה לחלוטין. במבחני הדיוק, שיעור השגיאות יורד מ־10.77 ל־6.15 במבחן VIVOS, ומ־18.34 ל־11.52 במאגר Common Voice כשמצרפים את מודל השפה. בלי מודל השפה, התמלול הגולמי פשוט עושה הרבה יותר טעויות איות והקשר.

מתאים ל

• מחקר וניסויי תמלול

  מתאים לבדיקת מודלים ומחקר אקדמי בוייטנאמית בזכות ביצועים מוכחים על מאגר VIVOS.

• פקודות קוליות קצרות

  המודל פועל מעולה על מקטעים קצרים מעשר שניות ומאפשר זיהוי קולי מקומי ומהיר.

• תמלול ארכיוני פנימי

  פתרון חסכוני לפרויקטים ללא כוונת רווח שצריכים להמיר שמע לטקסט בלי לשלם על API חיצוני.

איפה זה נופל

הכרטיס מדגיש מגבלה קריטית: המודל מיועד לקטעי אודיו קצרים מעשר שניות בלבד, כך שלא תזרקו עליו הקלטות ארוכות בלי לחתוך אותן קודם. בנוסף, הוא דורש קצב דגימה ספציפי של 16kHz.

במבחן VLSP-T2 שיעור השגיאות מזנק ל־40.81 גם עם מודל השפה, ובלי מודל השפה הוא עומד על 51.45 שזה תמלול שגוי של מילה מכל שתיים. זה אומר שבתנאי שמע קשים או בסביבה רועשת המודל הזה מתקשה מאוד.

איך מריצים

אתם מריצים אותו דרך ספריית transformers ב־Python, כשהאודיו חייב להיות בקצב דגימה של 16kHz ובמקטעים קצרים מעשר שניות. בגודל של 95 מיליון פרמטרים ודיוק float32, אין צורך בשרתים מורכבים, הוא ירוץ חלק על GPU ביתי פשוט ואפילו על מעבד סביר אם לא מעמיסים עליו תעבורה כבדה בזמן אמת.

אם אתם צריכים תמלול מזדמן של שפות מרובות, עדיף להשתמש ב־API מוכן של שירות ענן. המודל הזה משתלם כשאתם בונים שירות ייעודי לוייטנאמית, חייבים ריצה מקומית בלי תלות ברשת, ומוכנים לנהל את שילוב מודל ה־4-grams בקוד בעצמכם.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="nguyenvulebinh/wav2vec2-base-vietnamese-250h")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• vi_lm_4grams.bin.zip904.0 MB
• pytorch_model.bin377.9 MB
• audio-test/t1_0001-00010.wav119.7 KB
• audio-test/t1_utt000000042.wav76.8 KB
• audio-test/t2_0000006682.wav49.6 KB
• CC-BY-NC-SA-4.0.txt20.8 KB
• README.md6.2 KB
• config.json1.7 KB
• .gitattributes1.2 KB
• vocab.json1.1 KB
• preprocessor_config.json215 B
• tokenizer_config.json181 B
• special_tokens_map.json85 B

הרישיון

הרישיון הוא CC BY-NC 4.0, כלומר שימוש לא מסחרי בלבד ומחייב מתן קרדיט למפתח. אם אתם מתכננים לשלב אותו באפליקציה בתשלום, במוצר מסחרי ללקוחות או בתוך מערכת ארגונית מניבה, אתם מפרים את הרישיון. הוא מיועד למחקר, פרויקטים פנימיים או ניסויים אישיים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗