ShiftySpeech
קוד פתוחash56apache-2.02025-02-12
מעל 3,000 שעות של דיבור סינתטי לבדיקת גלאי דיפ פייק קוליים. המאגר מציע שונות מכוונת בשיטות יצירה, בסגנונות דיבור ובמבטאים כדי לחשוף נקודות שבירה שדאטהסטים רגילים מפספסים.
- 400הורדות בחודש
- 22לייקים
מה זה
המאגר מציע הקלטות שמע סינתטיות שנוצרו במטרה לבחון ביצועי גלאים מול סטיות תפוצה מבוקרות. התוכן מחולק לקובצי ארכיון דחוסים לפי מודלי יצירה, וכולל שישה מנועי טקסט לדיבור דוגמת FastPitch, Glow-TTS, Grad-TTS, VITS, XTTS ו־YourTTS, לצד שנים עשר ווקודרים שונים. החלוקה הפנימית מאורגנת בתיקיות ייעודיות לכל מודל, כמו תיקיות ווקודרים המכילות גרסאות של מאגרים מוכרים בפורמט שמע מכווץ.
ההקלטות מדמות שבעה צירי שונות בעולם האמיתי, כולל סגנונות הקראה, שיחות פודקאסטים וקטעים מפלטפורמת יוטיוב. בנוסף יש כיסוי דמוגרפי רחב שמשקף הבדלי גיל, מגדר ומבטאים בשלוש שפות: אנגלית, סינית ויפנית. פרטי המקורות המלאים ששימשו בסיס ליצירת הדיבור מפורטים בקובצי ההגדרות של המאגר, ללא הצגה ישירה של קובצי טקסט נפרדים בכרטיס עצמו.
מתאים ל
- בדיקת חוסן של גלאי דיפ פייק
הרצת בדיקות סף למסווגי שמע מול שישה מנועי יצירה שונים לבחינת קריסה בסביבות חדשות.
- אימון זיהוי ווקודרים
לימוד מודלים לזיהוי חותמות דיגיטליות של 12 ווקודרים נפוצים על פני סגנונות דיבור מגוונים.
- כיול רגישות במבטאים שונים
מדידת שיעור התרעות השווא של גלאי שמע מול גילאים, מגדרים ומבטאים באנגלית, סינית ויפנית.
איפה זה נופל
הנתונים מוגבלים לשלוש שפות בלבד: אנגלית, מנדרינית ויפנית. עברית לא קיימת כאן בכלל, כך שלאימון או לבדיקת מודלים מקומיים בישראל הדאטהסט לא מועיל באופן ישיר. המאגר כולו מורכב מקולות סינתטיים מובנים ולא מדגימות אנושיות מקוריות, כך שתצטרכו להביא דגימות קול אמיתי ממקור חיצוני כדי לאמן מסווג שלם. כדאי לבדוק את קובצי התצורה כדי לוודא שאיכות השמע תואמת לתרחיש השימוש שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0. מותר לבנות באמצעותו מוצרים מסחריים ולאמן מודלים סגורים, כל עוד שומרים על תנאי הייחוס של המפרסמים.
האם יש כאן הקלטות בעברית?
לא. המאגר מכסה שלוש שפות בלבד: אנגלית, מנדרינית ויפנית. עבור פיתוח שמתמקד בשוק הישראלי תצטרכו להקליט או לסנתז נתונים ממקורות אחרים.
במה הוא שונה ממאגרי זיהוי קול קיימים כמו ASVspoof?
המאגר מתמקד בכוונה בסטיות תפוצה של שמע מהעולם האמיתי, כמו רעשי רקע של יוטיוב, סגנון פודקאסטים ומגוון דמוגרפי. המטרה היא לבדוק איפה גלאים נכשלים כשהתנאים פחות סטריליים ממעבדה.
איך מומלץ להוריד את הקבצים בלי לחנוק את המחשב?
לא מורידים את כל 115 הקבצים ביחד. טוענים ישירות דרך פייתון ארכיון דחוס בודד של מודל ספציפי באמצעות הפרמטר data_files, יחד עם חבילות השמע soundfile או librosa.
איך טוענים
טוענים את המידע דרך ספריית datasets בקוד פייתון פשוט, תוך הצבעה לקובץ ארכיון ספציפי דרך הפרמטר data_files כדי למנוע חריגות זיכרון. המאגר כולל 115 קבצים, רובם ארכיוני tar.gz כבדים בפורמט flac, ולכן הורדה של כולו בבת אחת אינה מעשית. חובה להתקין מראש את soundfile או librosa כדי לפענח את קובצי השמע, ואין צורך בהרשאות גישה מיוחדות.
from datasets import load_dataset
ds = load_dataset("ash56/ShiftySpeech")הרישיון
המאגר שוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקבצים ושילובם בכלים פנימיים או מוצרים מסחריים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. מודלים שתאמנו על הדאטהסט אינם מחויבים להיפתח בקוד פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים