GPT
הוספת כלי
C

chatterbox-turbo-ONNX

קוד פתוח

ResembleAImit2025-12-14

  • onnx
  • chatterbox
  • text-to-speech
  • speech
  • speech-generation

יש כאן גם סקירה על Resemble AI עצמו.

המודל מציע המרת טקסט לדיבור באנגלית עם תמיכה מובנית בתגיות צחוק ושיעול. הוא עבר זיקוק לצעד דגימה בודד, מה שמתאים במיוחד למערכות קוליות שדורשות זמן תגובה מהיר.

  • 6.9 GBמשקל הקבצים
  • 3,633הורדות בחודש
  • 84לייקים

מה זה

מדובר במודל טקסט לדיבור קומפקטי שמבוסס על ארכיטקטורה של 350 מיליון פרמטרים, המיועד לייצור אודיו מהיר באנגלית. השינוי המרכזי כאן מול גרסאות קודמות של המשפחה הוא זיקוק המפענח שממיר טוקנים של דיבור לספקטרוגרמת מל. במקום תהליך איטרטיבי שנמשך עשרה צעדים, המודל מבצע את ההמרה הזו בצעד אחד בלבד, עניין שמקצץ את השימוש בכוח מחשוב ובזיכרון וידאו בלי לפגוע באיכות הצליל.

המאפיין הבולט ביותר בריצה השוטפת הוא היכולת לשלב תגיות פראלינגוויסטיות ישירות בתוך הטקסט, כמו שיעול או צחוק, כדי לתת לדיבור גוון טבעי יותר. החבילה הזו מגיעה בגרסת ייצוא מסוג ONNX, שנועדה לייעל הרצה מקומית על מנועי הסקה שונים בלי להישאר כבולים לסביבת פייתורץ המקורית. המטרה העיקרית שלו היא סוכני שיחה מבוססי קול שצריכים להתחיל לפלוט דיבור בזמן אפסי, אבל הוא מספק תוצאות טובות גם בקריינות שוטפת.

מתאים ל

  • סוכני שיחה אינטראקטיביים

    זיקוק המפענח לצעד בודד מאפשר הפקת אודיו סבירה בזמני השהיה קצרים שמתאימים לשיחה חיה.

  • קריינות עם הבעות קוליות

    תמיכה מובנית בתגיות צחוק ושיעול מייצרת הקראת סיפורים ומשחקים שנשמעת אנושית ופחות מונוטונית.

  • מערכות דיבור באופליין

    קבצי ONNX מאפשרים הטמעה ישירה בריצות מקומיות על מחשבי קצה ללא תלות ברשת חיצונית.

איפה זה נופל

החיסרון המרכזי הוא השפה. המודל תומך אך ורק באנגלית, כך שאין מה לנסות להריץ איתו עברית או טקסטים מעורבים בלי לקבל ג'יבריש. בנוסף, כל קובץ שנוצר דרכו כולל חותמת מים נוירולוגית בלתי שמיעה של החברה, ששורדת דחיסת קבצים ועריכות. אם אתם בונים מוצר שבו הלקוחות מצפים לאודיו נקי לחלוטין או שאינכם רוצים שום סימון מובנה בקבצים שלכם, זה משהו שחייבים לקחת בחשבון.

אותה משפחה

chatterbox-turbo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

chatterbox-turbo0

שאלות
נפוצות

האם אפשר להשתמש במודל הזה כדי להקריא טקסט בעברית?

לא. המודל אומן ותומך באנגלית בלבד. אם תזינו לו תווים בעברית הוא ייכשל או ישמיע הברות חסרות משמעות, ולשפות נוספות צריך לפנות לגרסה הרב לשונית של החברה.

מה הסיפור עם חותמת המים שמוטמעת בקבצים?

החברה מטמיעה בכל פלט קולי חותמת מים בלתי שמיעה שנועדה לזיהוי מקור האודיו. החותמת הזו שורדת המרה לפורמט אמפי3 ועריכות בסיסיות, ואפשר לאמת את קיומה בעזרת ספריית בדיקה ייעודית.

מה היתרון של גרסת הטורבו הזו על פני מודלים גדולים יותר?

היתרון המרכזי הוא משאבים ומהירות. בזכות צמצום שלב יצירת הספקטרוגרמה מעשרה צעדים לצעד אחד וארכיטקטורה רזה יותר, מקבלים יצירת קול עם צריכת זיכרון נמוכה יותר.

איך מריצים

המשקל הכולל של הקבצים עומד על כמעט שבעה גיגהבייט בפורמט ONNX, מה שאומר שתצטרכו כרטיס מסך מודרני עם מספיק זיכרון וידאו כדי לטעון ולהריץ את כל החלקים ביציבות, או מעבד חזק עם ספריות אופטימיזציה ייעודיות להסקה.

מי שבונה סוכן קולי בזמן אמת וצריך שהדיבור יחזור תוך פחות ממאתיים מילישניות בלי להתעסק בניהול תשתית, עומסים וקירור שרתים, יעדיף לפנות ישירות לשירות הענן של החברה. הרצה עצמית שווה את הטרחה בעיקר אם אתם מחפשים פרטיות מוחלטת של המידע, סביבה מנותקת רשת או אפס עלויות פר קריאה.

pip install -U huggingface_hub
hf download ResembleAI/chatterbox-turbo-ONNX

הקבצים

47 קבצים במאגר, 6.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון MIT, שזה הרישיון הכי מתירני שיש בעולם הקוד הפתוח. אתם יכולים להשתמש במודל למוצרים מסחריים, לשנות אותו, להטמיע אותו בתוך יישומים סגורים ולהפיץ אותו הלאה בלי לשלם תמלוגים לאף אחד. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים ונוסח הרישיון המקורי בתוך העותקים של הקוד או הקבצים שאתם מחלקים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗