VoxCPM-0.5B

מה זה

המודל הזה משתמש בארכיטקטורת דיפוזיה אוטורגרסיבית על גבי שלד של MiniCPM-4, במקום לפרק אודיו לקודים בדידים כמו שרוב מודלי הדיבור עושים. הוא מייצר את גלי הקול ברצף רציף, מה שמאפשר לו להבין את תוכן הטקסט ולהתאים את האינטונציה והמקצב באופן טבעי, או לקחת דגימת קול קצרה ולשכפל אותה מיד.

הוא אומן על 1.8 מיליון שעות הקלטה דו לשוניות באנגלית ובסינית. במבחני Seed-TTS הוא הציג שגיאת מילים של 1.85% באנגלית ודיוק דמיון קול של 72.9%, מספרים שעוקפים מודלים פתוחים אחרים בקטגוריית הגודל שלו כמו CosyVoice2 ו־F5-TTS, ומתקרבים למערכות סגורות ומורכבות בהרבה.

מתאים ל

• עוזרים קוליים באנגלית

  זמן התגובה הקצר והמשקל הנמוך מאפשרים לשלב אותו ביישומי שיחה שרצים מקומית ודורשים מענה מיידי.

• דיבוב ושכפול קול

  היכולת לחקות גוון ומבטא מקובץ אודיו קצר מתאימה ליצירת תוכן קולי מותאם אישית באנגלית ובסינית.

• הקראת תוכן משתנה

  הוא מסיק את הנימה הנכונה מתוך משמעות הטקסט, ללא צורך בהגדרת אינטונציה ידנית בכל משפט מחדש.

איפה זה נופל

הבעיה המרכזית עבור קהל ישראלי היא השפה. המודל אומן על אנגלית וסינית בלבד, כך שעברית פשוט לא נתמכת ותפיק ג'יבריש. בנוסף, למרות היציבות הכללית שלו, הכרטיס מודה מפורשות שבטקסטים ארוכים במיוחד או בעלי אופי דרמטי הוא נוטה לחוסר יציבות, ואין בו שליטה ישירה ומדויקת על פרמטרים נפרדים של רגש או סגנון הדיבור.

איך מריצים

מתקינים את חבילת voxcpm דרך pip ומריצים ישירות בפייתון או דרך ממשק שורת הפקודה. כדי להריץ את גרסת ה־0.5B לא צריך אשכול שרתים, הקבצים שוקלים כ־1.5 גיגה-בייט והוא עובד היטב על כרטיס מסך ביתי בודד כמו RTX 4090, שבו הוא מציג יחס זמן אמת של 0.17 ומאפשר הזרמת שמע חיה.

אם אתם בונים ממשק מלא, תצטרכו להוריד גם מודלי עזר כמו ZipEnhancer לניקוי רעשים מקול המקור ו־SenseVoice לתמלול. אם אתם צריכים רק הקראת טקסט פשוטה מדי פעם בענן בלי לנהל תלויות של עיבוד אותות, עדיף לפנות ל־API חיצוני מוכן במקום להחזיק תשתית.

pip install -U huggingface_hub
hf download openbmb/VoxCPM-0.5B

הקבצים

12 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.3 GB
• audiovae.pth301.5 MB
• tokenizer.json3.7 MB
• assets/voxcpm_model.png145.0 KB
• assets/modelbest_logo.png55.1 KB
• assets/voxcpm_logo.png24.5 KB
• README.md12.7 KB
• assets/thuhcsi_logo.png10.2 KB
• tokenizer_config.json5.0 KB
• config.json2.6 KB
• special_tokens_map.json1.6 KB
• .gitattributes1.6 KB

הרישיון

הקוד והמשקולות שוחררו תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקורי. היוצרים ממליצים לבצע בדיקות בטיחות קפדניות לפני שילוב במוצר מסחרי, בעיקר בשל סיכוני התחזות בשכפול קול.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗