wav2vec2-large-xlsr-persian-v3

מה זה

מדובר במודל זיהוי דיבור אוטומטי מבוסס Wav2Vec2 עם 24 שכבות, שעבר כוונון ייעודי על מאגר Common Voice בפרסית. הבסיס שלו הוא מודל הדיבור הרב-לשוני של מטא, אבל כאן המשקלים ממוקדים לגמרי בשפה הפרסית בלבד.

בבדיקות שנעשו על קבוצת המבחן של המאגר הוא הגיע לתוצאת WER של 10.36 אחוזים. המשמעות בשטח היא שכאשר מקליטים באיכות טובה ובתנאים ברורים, אחת מכל עשר מילים בערך עלולה לדרוש תיקון, שזה נתון יציב לתמלול בסיסי של שפה יחידה.

משקל הקבצים עומד על 2.4 גיגה-בייט, גודל סטנדרטי לארכיטקטורה הזו. כדי לעבוד איתו צריך להשתמש בספריות עיבוד טקסט ייעודיות לפרסית כמו parsivar וסקריפטים של ניקוי שהיוצר צירף, אחרת הדיוק יורד משמעותית.

מתאים ל

• תמלול הקלטות קוליות בפרסית

  הוא מגיע לדיוק סביר של 10.36% שגיאות מילים על שמע נקי שנדגם ב־16kHz.

• המרת הודעות קוליות לטקסט

  מתאים לשילוב בבוטים שקולטים הודעות בפרסית ומעבירים אותן כטקסט מנורמל.

• יצירת כתוביות לתוכן בפרסית

  עובד ישירות מול ספריות קוד פתוח מוכרות ומאפשר הפקת טקסט רציף מקבצי שמע.

איפה זה נופל

המודל אומן רק על פרסית ועל קולות מתוך Common Voice, מה שאומר שהוא עלול להתקשות עם מבטאים חריגים, רעשי רקע של שיחות טלפון או דיבור מקוטע. בנוסף, הדרישה לקדם-עיבוד דרך סקריפט ספציפי של היוצר וספריות כמו parsivar יוצרת תלות ישירה בלוגיקת ניקוי חיצונית, ובלי הדגימה המדויקת של 16kHz הוא לא יפיק תוצאות שמישות.

איך מריצים

כדי להריץ אותו צריך סביבת פייתון עם transformers, torchaudio וספריות לעיבוד שמע כמו librosa. חובה להמיר את כל קובצי השמע לקצב דגימה של 16kHz לפני ששולחים אותם למודל, אחרת הפלט ייפגע לחלוטין. בנוסף, חובה להוריד את קובצי הנרמול הייעודיים שהיוצר פרסם כדי לעבד את הטקסט.

עם משקל של 2.4 גיגה-בייט אפשר להריץ אותו על מעבד גרפי סטנדרטי עם לפחות 6 או 8 גיגה-בייט זיכרון בלי בעיה מיוחדת. אם אין לכם שרת ייעודי או שאתם לא רוצים לתחזק שרשרת קדם עיבוד שלמה לשמע ולטקסט בפרסית, עדיף לבדוק שירותי ענן מוכנים במקום להחזיק את התשתית הזו בעצמכם.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="m3hrdadfi/wav2vec2-large-xlsr-persian-v3")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h51.3 GB
• pytorch_model.bin1.3 GB
• predictions.csv830.2 KB
• sample2978.flac193.3 KB
• trainer_state.json78.3 KB
• sample5168.flac70.1 KB
• sample1.flac44.5 KB
• dictionary.py31.5 KB
• README.md8.7 KB
• normalizer.py6.3 KB
• config.json1.6 KB
• .gitattributes737 B
• vocab.json399 B
• tokenizer_config.json307 B
• preprocessor_config.json214 B
• special_tokens_map.json85 B

הרישיון

היוצר לא דיווח על רישיון עבור המודל. מבחינה משפטית מדובר בשטח אפור, ואסור להניח שמותר להשתמש בו במוצר מסחרי ללא בדיקה ישירה מול המפרסם.

הרישיון המלא בעמוד המודל ↗