persian-voice-v1

מה זה

מדובר בגרסה מעובדת של תת המאגר הפרסי מתוך קומון וויס 17 של מוזילה. המקור כלל שגיאות כתיב ואי דיוקים טיפוגרפיים בטקסטים, מה שפגע באיכות המודלים. היוצר העביר מעל 28,000 תמלולים ניקוי אוטומטי באמצעות המודל GPT-4o כדי לתקן את הכתיב תוך שמירה על המשמעות המקורית.

ההקלטות עצמן נשארו ללא שינוי, וכל שדות המטא דאטה נשמרו כדי לא לשבור תאימות למבנה המקורי. הנתונים מחולקים כבר לקובצי פרקט לפי סטים של אימון, בדיקה ואימות, כשהמאגר כולו מכיל בין עשרת אלפים למאה אלף רשומות המיועדות לזיהוי דיבור.

מתאים ל

• אימון וויספר בפרסית

  התאמת מודל וויספר לתמלול דיבור בפרסית עם נתוני טקסט נקיים יותר משגיאות כתיב.

• כיוונון Wav2Vec2

  אימון מודלים אקוסטיים על הקלטות קול בפרסית עם תמלול תואם ומיושר.

• בנצ'מרק לזיהוי דיבור

  בדיקת ביצועים של מערכות תמלול על סט מבחן פרסי קיים.

איפה זה נופל

התיקונים בוצעו בצורה אוטומטית לגמרי על ידי מודל שפה, ללא בדיקה אנושית מדווחת בכרטיס. זה אומר שייתכנו הזיות או שינויי נוסח שלא תואמים בדיוק את מה שנאמר בהקלטה. בנוסף, המאגר מוגבל לשפה הפרסית בלבד ולא כולל שפות אחרות, והוא יורש את כל הטיות הדיגום והמבטאים של קומון וויס 17 המקורי בלי סינון אקוסטי נוסף.

איך טוענים

אתם מושכים את הנתונים ישירות דרך ספריית datasets של האגינג פייס לפי המזהה הרשמי, בלי צורך בבקשת גישה מיוחדת כי המאגר פתוח. הנתונים מאוחסנים בארבעה קובצי פרקט שמחולקים מראש לסטים של אימון, מבחן ואימות.

המשקל המדויק לא מצוין בכרטיס, אבל מכיוון שהאודיו עצמו שמור בפנים יחד עם התמלולים המתוקנים, ההורדה דורשת חיבור סביר ומקום בדיסק. השדות החשובים לעבודה הם קובצי הקול והתמלול המתוקן לצורך האימון או ההערכה.

from datasets import load_dataset

ds = load_dataset("vhdm/persian-voice-v1")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב אתכם לשחרר את המודלים שתאמנו עליו תחת אותו רישיון. נדרש רק לשמור על הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗