SoulX-Podcast-1.7B

מה זה

המודל מתמקד ביצירת דיבור דיאלוגי מרובה משתתפים לפורמטים ארוכים, לצד תמיכה בהקראה רגילה של דובר יחיד. הוא בנוי על ארכיטקטורת שפה עם עשרים ושמונה שכבות וחלון הקשר גדול במיוחד של 40,960 טוקנים, מה שמאפשר לו לשמור על רצף הגיוני בשיחות ממושכות בלי לאבד את ההקשר של הדוברים הקודמים.

הייחוד שלו מול מודלי דיבור מקבילים הוא היכולת לשלוט במאפיינים פאראלינגוויסטיים כמו שילוב של צחוק או אנחות בתוך הטקסט, לצד שיבוט קולות ללא אימון מוקדם. המודל שולט באנגלית, מנדרינית ובכמה ניבים סיניים כמו סצ'ואנזית וקנטונזית, כולל שכפול קול חוצה דיאלקטים.

מתאים ל

• הפקת פודקאסטים סינתטיים

  יצירת שיחה שלמה ומרובת דוברים מטקסט באנגלית עם תגובות טבעיות וצחוק.

• שיבוט קול בניבים סיניים

  שכפול קול ללא אימון מוקדם עבור תוכן שמע בקנטונזית או מנדרינית.

• הקראת דיאלוגים ארוכים

  המרת תסריטים מורכבים לדיבור תוך שמירה על הקשר הדוק בעזרת חלון טוקנים רחב.

איפה זה נופל

החיסרון המרכזי למשתמש בארץ הוא היעדר מוחלט של תמיכה בעברית, המודל מיועד אך ורק לאנגלית, מנדרינית ומספר ניבים סיניים. בנוסף, חוסר היכולת הנוכחי להזרים אודיו תוך כדי יצירה מונע שילוב שלו במערכות קוליות אינטראקטיביות שדורשות השהיה מינימלית. המפתחים גם מציינים במפורש איסור על שימוש לצורך התחזות והונאות בקולות משובטים.

איך מריצים

ההתקנה דורשת סביבת לינוקס עם פייתון 3.11 והתקנת תלויות דרך קובץ הדרישות של המאגר הרשמי. המשקלים תופסים כחמישה נקודה ארבעה גיגה בייט ומחולקים לעשרים ושמונה קבצים, אותם מורידים ישירות דרך כלי הפקודה של הגינג פייס או בסקריפט פייתון. קיימת גרסת בסיס וגרסה ייעודית לדיאלקטים, והרצת ההסקה מבוצעת דרך סקריפטים ייעודיים של באש שמסופקים בקוד.

מבחינת חומרה, מודל של כשני מיליארד פרמטרים בדיוק צף מלא דורש כרטיס גרפי ייעודי עם מספיק זיכרון וידאו לטעינת המשקלים וניהול חלון ההקשר, במיוחד בהפקת שיחות ארוכות. אם המטרה היא מענה מיידי למשתמשי קצה בזמן אמת, עדיף להמתין או לבחור שירות חיצוני, שכן תמיכה בהזרמת אודיו בזמן אמת עדיין נמצאת ברשימת המשימות הפתוחות של המפתחים.

pip install -U huggingface_hub
hf download Soul-AILab/SoulX-Podcast-1.7B

הקבצים

28 קבצים במאגר, 5.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors2.0 GB
• model-00002-of-00003.safetensors1.5 GB
• model-00003-of-00003.safetensors653.3 MB
• flow.pt450.6 MB
• flow.cache.pt450.5 MB
• flow.decoder.estimator.fp32.onnx286.3 MB
• flow.encoder.fp32.zip192.4 MB
• flow.encoder.fp16.zip116.7 MB
• hift.pt83.4 MB
• campplus.onnx28.3 MB
• tokenizer.json12.9 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• tokenizer_config.json1.4 MB
• assets/SoulXPodcast_technical_report.pdf1.0 MB
• assets/SoulX-Podcast-log.jpg801.8 KB
• assets/performance_radar.png773.8 KB
• assets/wechat.jpg187.5 KB
• assets/wechat2.jpg187.3 KB
• added_tokens.json178.0 KB
• assets/wechat_tiamo.jpg148.3 KB
• model.safetensors.index.json25.6 KB
• README.md7.2 KB
• .gitattributes2.4 KB
• soulxpodcast_config.json735 B
• config.json726 B
• special_tokens_map.json625 B
• generation_config.json202 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס מלא לקוד ולמשקלי המודל. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על תנאי הרישיון המקוריים וכתב הוויתור על אחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗