F5-Spanish
קוד פתוחjpgallegoarcc-by-nc-4.02024-11-04
התאמה ייעודית של F5-TTS לספרדית על פני מגוון מבטאים מקומיים. מי שצריך סינתזת דיבור בספרדית מבוססת דגימת קול ימצא כאן בסיס רחב יותר ממה שמציע מודל המקור.
- 7.5 GBמשקל הקבצים
- 6,363הורדות בחודש
- 251לייקים
מה זה
מדובר באימון המשך של מודל F5-TTS הבסיסי, שנבנה במיוחד כדי להתמודד עם ספרדית ולא להסתפק בהגייה כללית. היוצר אימן אותו במשך 218 שעות אודיו ומיליון ומאתיים אלף צעדים, תוך שימוש במקורות כמו Voxpopuli לספרדית של ספרד, הרצאות TEDx, ומאגרי קול של דוברי ספרדית מארגנטינה, צ'ילה, קולומביה, פרו, פורטו ריקו וונצואלה.
בניגוד למודלי דיבור שמכוונים לספרדית ניטרלית או אירופית בלבד, הדגש כאן הוא על כיסוי המבטאים של אמריקה הלטינית. המודל מתבסס על ספריית f5-tts, כך שהוא דורש דגימת קול כרפרנס כדי להפיק דיבור חדש באותו סגנון.
מתאים ל
- דיבוב לספרדית לטינית
האימון כלל מאגרים מארגנטינה, צ'ילה, קולומביה ומדינות נוספות, מה שמאפשר להפיק דיבור במבטא מקומי אמין.
- שכפול קול ביישומי שמע
הוא מבוסס על F5-TTS ומאפשר לקחת דגימת קול קצרה ונקייה בספרדית ולהקריא בעזרתה טקסטים חדשים.
- הנגשת תכנים ופודקאסטים
יצירת קריינות מלאה לתוכן כתוב בספרדית בלי להקליט קריין באולפן עבור כל עדכון גרסה.
איפה זה נופל
היוצר עצמו מציין שהמודל עדיין צריך אימון נוסף כדי לשפר ביצועים בחלק מהדיאלקטים, כך שלא כל המבטאים יישמעו באותה רמת אמינות. בנוסף, איכות הפלט תלויה ישירות בקובץ הקול שאתם מספקים כרפרנס. אם האודיו שלכם מכיל רעשי רקע, ווליום לא מאוזן או צליל עמום, המודל ישכפל את הפגמים האלה ישר לתוך הדיבור שהוא מייצר. עברית כמובן אין כאן בכלל.
שאלות
נפוצות
האם המודל תומך בשפות נוספות חוץ מספרדית?
האימון הספציפי הזה הוקדש כולו ל־218 שעות של ספרדית ממגוון מדינות. המודל מיועד אך ורק ליצירת דיבור בספרדית, ואינו מתאים לעברית או לשפות אחרות.
איך דואגים שהתוצאה תישמע טוב ולא רובוטית?
לפי הנחיות המפתח, הסוד הוא בהכנת קובץ הרפרנס. חובה לנקות רעשי רקע, לאזן עוצמות שמע ולוודא שההקלטה חדה לפני שמזינים אותה למודל.
האם אפשר להשתמש בו במוצר מסחרי?
כרגע יש סתירה בין הרישיון המוגדר במערכת שאוסר שימוש מסחרי לבין הטקסט בכרטיס שמצהיר על CC0. כל עוד המפתח לא יישר קו רשמית, לא כדאי להכניס אותו לקוד של חברה.
איך מריצים
כדי להריץ אותו מקומית צריך סביבת פייתון עם ספריית f5-tts. הדרך הכי ישירה שהמפתח מציע היא להריץ את היישום הרגיל של F5-TTS, לאתר בתיקיית המטמון את הקובץ המקורי model_1200000.safetensors, ולהחליף אותו ידנית בקובץ המשקלים שנמצא במאגר הזה. אפשר גם למשוך את הקוד ישירות ממאגר הגיטהאב של הפרויקט או להריץ מחברת מוכנה.
מבחינת חומרה, כרטיס T4 בסיסי עם 16 גיגה זיכרון מספיק לגמרי כדי להריץ את המודל, כפי שרואים במחברת הגוגל קולאב הרשמית שלו. אם אין לכם מעבד גרפי פנוי עם מספיק זיכרון וידאו, יש ספייס פעיל בחינם בהאגינג פייס שאפשר לבדוק עליו דגימות בלי להתקין כלום.
pip install -U huggingface_hub hf download jpgallegoar/F5-Spanish
הקבצים
8 קבצים במאגר, 7.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
יש פה בלבול שחייבים לשים לב אליו לפני שימוש בפיתוח. המטאדאטה של הדף מדווחת על רישיון cc-by-nc-4.0 שאוסר שימוש מסחרי, אבל בתוך הטקסט של כרטיס המודל נכתב שהוא שוחרר תחת CC0-1.0 שמתיר הכל. בגלל הסתירה הזו, אם אתם בונים מוצר מסחרי, מסוכן להסתמך עליו בלי לקבל הבהרה כתובה מהיוצר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא