WildSpeech-Bench
קוד פתוחtencentרישיון לא דווח2025-06-25
מאגר לבדיקת מודלי שפה בדיבור מקצה לקצה, עם שאילתות קוליות שנבדקו ידנית. הוא מתאים למי שרוצה לבחון יכולות שיחה קולית מורכבות בעולם האמיתי במקום מדדים טקסטואליים יבשים.
- 156הורדות בחודש
- 37לייקים
מה זה
המאגר מכיל 1,100 שאילתות שנאספו כדי לבחון יכולות דיבור לדיבור של מודלי שפה. הנתונים מאורגנים בחמש קטגוריות עיקריות שמייצגות כוונות משתמש: יצירת טקסט, בירור מידע, בקשת פתרון, החלפת דעות, ושאילתות בעלות מאפיינים פאראלינגוויסטיים שבודקות הבנת ניואנסים קוליים מעבר למילים עצמן.
לפי התיעוד, תהליך הבנייה כלל סינון של שאילתות שמאפיינות שיחה מדוברת ולא כתיבה רגילה. לאחר הסינון, מומחים אנושיים עברו על כל שאילתה ואימתו את האיכות והרלוונטיות שלה. במקום להשתמש בתבניות שיפוט כלליות, לכל שאילתה מאתגרת נכתב צ'קליסט ידני שמותאם למאפיינים ולמלכודות הספציפיות שלה.
מתאים ל
- הערכת ביצועי מודלי דיבור
הרצת בדיקות השוואתיות בין מודלי שפה קוליים מול צ'קליסט מוגדר מראש.
- בדיקת הבנת אינטונציה
בחינת האופן שבו המודל מגיב לרמזים פאראלינגוויסטיים ולניואנסים בשיחה.
- מבחן ביצועים לפייפליין שיחה
מדידת הדיוק של מערכות משולבות לעומת מודלי קצה לקצה מקוריים.
איפה זה נופל
המאגר כולו באנגלית ואינו כולל שום ייצוג לעברית. אם אתם בונים שירות לשוק הישראלי, התוצאות פה לא ינבאו איך המודל שלכם יתמודד עם מבטא מקומי או שפה מעורבת. מעבר לכך, 1,100 דגימות זה סט קטן שמתאים להערכה ממוקדת ולא לאימון, וכרטיס המאגר לא מפרט מאיפה הגיעו דוברי המקור או מה טווח הגילאים שלהם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון אינו מוגדר בשדות הרשמיים של המאגר ביוני 2025, אך קיים קובץ בשם License.txt. חובה לפתוח את הקובץ ולבדוק את תנאיו לפני כל שימוש עסקי. אל תסתמכו עליו למוצר בלי לוודא זאת.
האם המאגר רלוונטי למוצרים בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד. הוא אינו מכיל הקלטות או שאילתות בעברית ולא ישקף את ביצועי המודל בשפה המקומית. לכל היותר הוא יכול לשמש דוגמה לבניית מבחן דומה בארץ.
מה מייחד את המאגר הזה מדאטהסטים אחרים להערכת שמע?
הוא מתמקד בשיחות דיבור לדיבור מקצה לקצה ולא רק בתמלול טקסט. בנוסף, כל 1,100 הדגימות עברו אימות ידני על ידי אנשים, והערכת המודלים מתבצעת על פי צ'קליסטים ייעודיים לכל שאילתה במקום מדד אוטומטי גנרי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets או בקריאת קובץ הפארקט data/wildspeech_1100.parquet. המאגר ציבורי ואינו דורש אישור גישה מראש. הוא קל משקל ביחס למאגרי קול ומכיל בסך הכל שישה קבצים, כולל תמונות וקובץ הרישיון, כך שלא תצטרכו להקצות לו נפח אחסון חריג.
from datasets import load_dataset
ds = load_dataset("tencent/WildSpeech-Bench")הרישיון
בדף המאגר מופיע שהרישיון לא דווח במטא-דאטה, אך המאגר כולל קובץ בשם License.txt. כל עוד תוכנו המדויק של הקובץ לא נבדק על ידכם, אסור להניח שמותר להשתמש בו לצרכים מסחריים או לאמן עליו מודלים פנימיים בחברה.