Soul-Bench

מה זה

במאגר יש מעל אלפיים קבצים שמחולקים לדוגמאות בדיקה. כל רשומה כוללת תמונת פנים בפורמט png, קטע אודיו מקביל בפורמט wav וקובץ json שמכיל הגדרות ומטא-דאטה. שמות הקבצים מעידים על חלוקה לפי מגדר, שפה, כמו אנגלית וסינית, וסוג הפעולה הקולית, למשל שירה.

הנתונים משמשים להערכת מודלים של הנפשת פנים לאורך זמן מתוך קלט מולטימודלי. כרטיס המאגר לא מפרט מה מקור הדגימות, מהיכן נאספו ההקלטות והתמונות, או באילו תהליכי סינון וניקוי השתמשו כדי לבחור אותן. בנוסף לקבצי הבדיקה, המאגר כולל תוצאות ייחוס שהופקו על ידי המפתחים לצורך השוואה מול מודלים קיימים.

מתאים ל

• הערכת הנפשת פנים מתמונה

  בדיקת יכולת המודל לייצר וידאו של דיבור או שירה מתוך תמונת פנים אחת וקובץ סאונד.

• מדידת סנכרון שפתיים

  הרצת בנצ'מרק מדויק לבחינת ההתאמה בין האודיו לתנועות הפה באנגלית ובסינית.

• השוואת תוצאות מול מודלים

  שימוש בתוצאות המוכנות שמצורפות במאגר לצורך השוואת ביצועים מול הפיתוח שלכם.

איפה זה נופל

היוצרים לא מספקים בכרטיס שום תיעוד על אופן האיסוף, גודל הדאטה המלא או הטיות מובנות בייצוג גילאים ומגדר. השמות בקבצים מצביעים על אנגלית וסינית בלבד, כך שאין כאן בדיקה של שפות אחרות או התאמה לפונטיקה בעברית. לפני שמסתמכים עליו כדי לאמת מודל במוצר אמיתי, צריך לבדוק ידנית את איכות התמונות וההקלטות, כי התיעוד הרשמי בעמוד פשוט לא מפרט אותן.

איך טוענים

טוענים את התיקיות ישירות באמצעות ממשק השורה של huggingface-cli ומורידים את Soul-Bench או את Soul_Results למחשב המקומי. אין צורך באישור גישה מיוחד כדי להוריד, אך ניתן להשתמש בטוקן במידת הצורך. הקבצים מסודרים בשלשות תואמות של תמונה, קול וקובץ json, כך שכל דגימת בדיקה מוכנה להרצה מול כלי ההערכה של הפרויקט.

from datasets import load_dataset

ds = load_dataset("APRIL-AIGC/Soul-Bench")

הרישיון

למרות שבשדה הרשמי לא סומן רישיון מוגדר, בטקסט עצמו החוקרים כותבים במפורש שהשימוש הוא לא מסחרי בלבד. אם רוצים להשתמש בתוצרים לצרכים מסחריים, המפתחים מפנים לפתרונות ול־API של Tencent Cloud בתשלום. המשמעות היא שאסור לבסס על המאגר הזה שום מוצר מניב רווחים או מודל שמיועד למכירה.

הרישיון המלא ב־Hugging Face ↗