chatterbox-gguf

מה זה

מדובר בהמרה של Chatterbox לתבנית GGUF, המיועדת להרצה מקומית של סינתזת דיבור מטקסט. המבנה כאן מפוצל לכמה רכיבים נפרדים, ביניהם מקודד, מודל שפה ורכיב יצירת האודיו, שכל אחד מהם מגיע ברמות כימות שונות. החידוש המרכזי מול מודלים רגילים במשקל הזה הוא האפשרות לערבב בין קובצי המשקלים לפי משאבי המחשב, במקום להוריד מודל אחד כבד וקשיח.

הפרויקט נשען על הכלי gguf-connector ומציע גם ממשק ווב מקומי בסיסי שרץ על פורט 7860. הוא מתאים בעיקר למפתחים שרוצים שילוב ישיר בסקריפטים מקומיים או במערכות עצמאיות, בלי להתעסק עם שרתי ענן של צד שלישי.

מתאים ל

• סינתזת דיבור מקומית

  מתאים למי שרוצה להפיק קריינות ישירות מהמחשב בלי לשלוח טקסט לשרתים חיצוניים ובלי עלויות לפי דקה.

• בוטים קוליים באנגלית

  חיבור ישיר לממשק ווב מקומי בפורט 7860 עבור מענה קולי אוטומטי במערכות סגורות.

• ניסויי כימות בחומרה מוגבלת

  שילוב גמיש בין גרסאות קלות כמו q4 לגרסאות כבדות יותר כדי למצוא איזון בין מהירות לאיכות.

איפה זה נופל

ההתקנה כאן מועדת לבעיות תאימות. בגרסת c3 למשל, הדף מציין שצריך לשנמך ידנית את ספריית transformers לגרסה 4.46.3, לעדכן את chichat לגרסה 0.0.4, ולהחליף את קובץ ה־clip בגרסה אחרת. בנוסף, המודל הראשי מכוון לאנגלית בלבד, כך שאין כאן תמיכה בעברית או בניקוד מקומי. הפיצול לשלושה קבצים נפרדים מחייב אתכם לדעת בדיוק מה בחרתם, ואם תטעו באחד מהם התהליך פשוט ייכשל.

איך מריצים

כדי להריץ אותו משתמשים בפקודה ggc c2 או c3 מתוך חבילת הפייתון gguf-connector. בהפעלה הראשונה התוכנה מושכת רק את הטוקנייזר, ואת שאר הקבצים צריך להוריד ולבחור ידנית מתוך התיקייה: קובץ ve, קובץ t3 וקובץ s3gen. המפתח ממליץ על ve_fp32-f16, על t3_cfg-q4_k_m, ועל s3gen-bf16 למי שמחזיק כרטיס של נווידיה, או f16 למי שעובד על מעבד רגיל.

סך כל הקבצים שפורסמו מגיע ל־16.6 גיגה־בייט ב־40 קבצים שונים, אבל בפועל מורידים רק את השילוב הנבחר. אם המחשב שלכם חלש מדי או שאין לכם כוח לנהל שלוש תלויות שונות של קבצים מכווצים, שירותי ענן עם API מוכן יחסכו את כל ההרכבה הזו.

ollama run hf.co/calcuis/chatterbox-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

40 קבצים במאגר, 16.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• t3_cfg-f32.gguf2.1 GB
• t3_cfg-f16.gguf1.1 GB
• t3_cfg-bf16.gguf1.1 GB
• s3gen-f32.gguf1.1 GB
• t3_23lang-q8_0.gguf664.7 MB
• t3_cfg-q8_0.gguf651.2 MB
• t3_23lang-q6_k.gguf542.8 MB
• s3gen-bf16.gguf529.4 MB
• s3gen-f16.gguf528.3 MB
• t3_23lang-q5_1.gguf507.4 MB
• t3_cfg-q5_1.gguf493.9 MB
• t3_23lang-q5_0.gguf475.9 MB
• t3_23lang-q5_k_m.gguf475.9 MB
• t3_cfg-q5_0.gguf462.4 MB
• t3_23lang-q4_1.gguf444.5 MB
• t3_cfg-q6_k.gguf437.1 MB
• t3_cfg-q4_1.gguf430.9 MB
• t3_23lang-iq4_nl.gguf413.0 MB
• t3_23lang-q4_0.gguf413.0 MB
• t3_23lang-q4_k_m.gguf413.0 MB
• t3_cfg-iq4_nl.gguf399.5 MB
• t3_cfg-q4_0.gguf399.5 MB
• t3_23lang-iq4_xs.gguf397.3 MB
• t3_cfg-iq4_xs.gguf383.8 MB
• t3_cfg-q5_k_m.gguf366.5 MB
• t3_23lang-iq3_s.gguf346.1 MB
• t3_23lang-q3_k_m.gguf346.1 MB
• t3_cfg-iq3_s.gguf332.6 MB
• t3_23lang-iq3_xxs.gguf322.6 MB
• t3_cfg-iq3_xxs.gguf309.1 MB
• t3_cfg-q4_k_m.gguf300.1 MB
• t3_23lang-q2_k.gguf295.0 MB
• t3_cfg-q3_k_m.gguf229.4 MB
• t3_cfg-q2_k.gguf175.2 MB
• ve_fp32-f32.gguf5.7 MB
• ve_fp32-f16.gguf2.9 MB
• samples\audio2.wav626.0 KB
• samples\audio1.wav476.2 KB
• .gitattributes4.3 KB
• README.md3.2 KB

הרישיון

המודל מופץ תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה במוצרים שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗