IndicF5 — הדגמה

מה זה

מזינים טקסט שרוצים להקריא, מקליטים או מעלים קובץ שמע שמשמש כדוגמת קול, ומקלידים את התעתיק המדויק של מה שנאמר באותו קובץ שמע. בצד השני מקבלים קובץ שמע שמקריא את הטקסט החדש באותו הקול.

מאחורי הקלעים רץ המודל IndicF5 של קבוצת ai4bharat, שמתבסס על מאגרי הנתונים indicvoices_r ו־Rasa. הקוד טוען את המודל ישירות מ־Hugging Face דרך ספריית transformers ומשתמש ב־librosa וב־soundfile לעיבוד האודיו. יש בממשק גם דוגמאות מובנות שאפשר לבחור כדי לראות איך זה עובד בלי להעלות קובץ משלכם.

מתאים ל

• שכפול קול משמע קצר

  יצירת הקראה חדשה באותו גוון קול של דובר מתוך הקלטה קיימת ותעתיק שלה.

• בדיקת שפות הודיות

  הערכת איכות ההקראה בשפות של תת-היבשת על בסיס המאגרים של ai4bharat.

• התנסות במודל IndicF5

  בחינת יכולות המודל דרך דוגמאות מוכנות לפני שמורידים את המשקלים למחשב.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת וקורסת עם שגיאה. מעבר לזה, המודל אומן על דאטה הודי מובהק ולא מיועד לעברית, כך שאין מה לבנות עליו להקראת טקסטים מקומיים. בנוסף, חובה להזין גם תעתיק מדויק של קובץ השמע המקורי, מה שמסרבל את הבדיקה אם אין לכם טקסט מוכן לדגימה שלכם.

איך מריצים

לוחצים על Generate Speech אחרי שממלאים את שלושת השדות, או בוחרים באחת הדוגמאות המוכנות מראש. המערכת מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, כך שלא צריך לשלם או להגדיר שרת. עם זאת, אין טעם לנסות להריץ אותה כרגע בדפדפן כי היא נמצאת במצב של שגיאת ריצה (RUNTIME_ERROR).

pip install -U huggingface_hub
hf download ai4bharat/IndicF5

הקבצים

76 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.4 GB
• prompts/PAN_F_HAPPY_00001.wav777.6 KB
• prompts/MAR_F_HAPPY_00001.wav465.7 KB
• f5_tts/infer/examples/basic/basic_ref_zh.wav324.6 KB
• samples/namaste.wav296.0 KB
• f5_tts/infer/examples/multi/main.flac279.2 KB
• f5_tts/infer/examples/basic/basic_ref_en.wav256.0 KB
• f5_tts/infer/examples/multi/town.flac229.4 KB
• f5_tts/infer/examples/multi/country.flac180.3 KB
• f5_tts/train/finetune_gradio.py65.8 KB
• f5_tts/infer/infer_gradio.py32.4 KB
• f5_tts/infer/infer_gradio_orig.py32.3 KB
• f5_tts/model/modules.py21.7 KB
• f5_tts/infer/__pycache__/utils_infer.cpython-312.pyc19.2 KB
• f5_tts/infer/utils_infer.py18.5 KB
• f5_tts/model/trainer.py17.0 KB
• f5_tts/model/__pycache__/modules.cpython-310.pyc16.6 KB
• f5_tts/eval/utils_eval.py13.8 KB
• f5_tts/eval/ecapa_tdnn.py11.4 KB
• f5_tts/model/dataset.py11.3 KB
• checkpoints/vocab.txt11.3 KB
• f5_tts/infer/examples/vocab.txt11.3 KB
• f5_tts/infer/__pycache__/utils_infer.cpython-310.pyc11.0 KB
• f5_tts/model/__pycache__/trainer.cpython-310.pyc9.9 KB
• f5_tts/model/cfm.py9.4 KB
• f5_tts/model/__pycache__/dataset.cpython-310.pyc8.6 KB
• f5_tts/infer/infer_cli_batch.py8.5 KB
• f5_tts/train/finetune_cli.py7.7 KB
• f5_tts/infer/infer_cli.py7.6 KB
• f5_tts/infer/README.md7.4 KB
• f5_tts/train/datasets/prepare_emilia.py7.4 KB
• f5_tts/eval/eval_infer_batch.py7.3 KB
• f5_tts/model/backbones/unett.py7.0 KB
• f5_tts/train/datasets/prepare_in22_en_10k.py6.7 KB
• f5_tts/train/datasets/prepare_csvs_wavs_v3.py6.6 KB
• f5_tts/infer/speech_edit.py6.4 KB
• f5_tts/train/datasets/prepare_csv_wavs.py6.4 KB
• f5_tts/model/utils.py6.4 KB
• f5_tts/train/datasets/prepare_csvs_wavs_v2.py6.3 KB
• f5_tts/model/__pycache__/utils.cpython-310.pyc6.3 KB

הרישיון

לא דווח רישיון בעמוד של האפליקציה. כשאין רישיון מוגדר, אין לכם אישור ברור לשימוש מסחרי בקבצים שמופקים או בקוד, ולא ידוע מה נעשה עם קטעי הקול והטקסט שמעלים לממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗