firered-tts3
רץ בדפדפןhugging-appsapache-2.02026-08-13
היא משבטת קולות, יוצרת דיבור מתיאור טקסטואלי ועורכת הקלטות קיימות ישירות בדפדפן. הממשק פונה למי שרוצה לבחון יכולות דיבור מתקדמות בלי להרים סביבת פיתוח מקומית.
- —הורדות בחודש
- 62לייקים
מה זה
הממשק מחולק לשלוש לשוניות עבודה. בלשונית הראשונה מעלים הקלטת מקור קצרה, מקלידים את התמלול שלה ואת הטקסט החדש שרוצים להפיק, ומקבלים קובץ שמע בקול המשוכפל באיכות 24 קילו-הרץ. הלשונית השנייה מקבלת תיאור טקסט חופשי של אופי הקול, כמו גיל או סגנון דיבור, ומייצרת לפיו קול חדש לגמרי בלי דגימת שמע. הלשונית השלישית מאפשרת לערוך הקלטה קיימת, החל משינויי תוכן כמו הוספה או החלפה של מילים, ועד שינויי מהירות, גובה צליל ועוצמה.
מאחורי הקלעים רץ המודל FireRedTTS3, שמבוסס על שלד Qwen3-1.7B בשילוב Flow Matching מעל מקודד השמע הרציף RedAE. נירמול הטקסט מתבצע מקומית בקוד דרך ספריית wetext לאנגלית ולסינית, וזיהוי השפה נעשה בעזרת מודל lid.176 של fastText. הדוגמאות המוכנות שמגיעות עם הממשק מציגות הפקת דיבור על בסיס קובצי שמע מובנים באנגלית ובסינית.
מתאים ל
- שכפול קול מדגימה
יצירת קטעי דיבור חדשים מקובץ אודיו קצר ותמלול מתאים באנגלית או בסינית.
- עיצוב קול מתיאור
הפקת דיבור מאפס על בסיס הנחיות טקסט של אופי הדובר, ללא צורך בהקלטת מקור.
- עריכת תוכן בהקלטה
החלפה, הוספה או מחיקה של מילים בתוך קובץ שמע קיים תוך שמירה על רצף הדיבור.
- שינוי מאפייני שמע
תיקון מהירות, גובה צליל ועוצמת שמע ישירות בתוך קובץ ההקלטה.
איפה זה נופל
נרמול הטקסט המבוסס על מודל שפה חיצוני מנוטרל כאן לחלוטין בגלל דרישה לאישורי גישה חיצוניים, מה שמשאיר רק נרמול בסיסי לאנגלית ולסינית. המודל כולל תמיכה ב־24 שפות ו־21 ניבים סיניים, אך עברית אינה חלק מהרשימה הזו. בנוסף, חובה להזין תמלול מדויק של קובץ המקור כדי לשבט קול, והמערכת חותכת באופן אוטומטי קבצים או טקסטים שחורגים מהמגבלות המוגדרות בקוד.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה לממשק פתוחה בדפדפן ואינה דורשת תשלום. המשאבים מוקצים על גבי חומרת zero-a10g שיתופית, כך שהשימוש חופשי כל עוד יש מכסות פנויות בשרת.
מה קורה עם קובצי השמע שאני מעלה?
הקבצים נשלחים לשרת שבו רץ הקוד ומעובדים לצורך הפקת השמע בלבד. הממשק מבצע חיתוך מקומי לפי מגבלות האורך, אך מדובר בסביבה ציבורית ולכן לא מומלץ להעלות חומר רגיש.
האם אפשר להריץ את המערכת מקומית במחשב שלי?
כן, הקוד והמשקולות זמינים במאגר המקורי תחת רישיון חופשי. כדי להריץ אותם נדרש מחשב עם מאיץ גרפי מתאים והתקנה של הספריות המופיעות בקוד המקור.
במה הממשק הזה שונה מהמודל המקורי?
הממשק מציג הדגמה ויזואלית בלבד שמבטלת חלק מהיכולות המתקדמות, כמו נירמול טקסט מבוסס מודל שפה שדורש מפתח חיצוני. כמו כן, הוא מגביל את אורך הקבצים והטקסט שניתן לעבד בכל בקשה.
איך משתמשים
בוחרים את הלשונית הרצויה, מזינים את הטקסט או מעלים קובץ שמע, ולוחצים על כפתור ההפקה המתאים. השרת מקצה מאיץ גרפי מסוג zero-a10g לפי דרישה, כך שזמן הריצה תלוי בזמינות החומרה ובעומס הרגעי על השירות. תחת האפשרויות המתקדמות אפשר לקבוע מספר צעדים, ערך Seed ורמת הנחיה, ואין צורך בהתחברות מיוחדת או בהגדרת מפתחות חיצוניים כדי להפעיל את הדוגמאות.
הרישיון
הפרויקט והקוד מופצים ברישיון apache-2.0, שמאפשר שימוש רחב בקוד ובמשקולות. עם זאת, היוצרים מציינים במפורש ששכפול קול מיועד למטרות מחקר אקדמי בלבד, ואוסרים על התחזות או שימוש לא חוקי בתוכן המופק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים