Dramabox

מה זה

הארכיטקטורה משלבת מודל דיפוזיה מסוג DiT ייעודי לאודיו בגודל 3.3 מיליארד פרמטרים יחד עם קידוד טקסט מבוסס Gemma 3 12B. השליטה בביצוע נעשית ישירות דרך הטקסט. מה שנמצא בתוך מירכאות כפולות נאמר מילה במילה, ומה שמחוץ להן נקרא כהוראת בימוי, למשל ניקוי גרון, שינוי טון או עצירה. אפשר לספק דגימת קול של 10 שניות ומעלה כדי לשכפל את גוון הדיבור, או לתת לו לבחור קול לבד לפי התיאור.

בניגוד למנועי דיבור שמייצרים שטף אחיד, כאן מוטמעת הבעה רגשית כבדה. המערך כולל פרמטרים כמו STG להגברת הדגשים דרך שכבות הטרנספורמר ומנגנון מובנה שמונע עיוותי ווליום. שרת חם מפיק קטע בכ־2.5 שניות על כרטיס H100, כך שלא מדובר בהמתנה ארוכה אם התשתית מוכנה.

מתאים ל

• דיבוב דמויות מונפשות

  שילוב צחוק, אנחות ולחישות ישירות מהטקסט עבור משחקים וסרטונים.

• קריינות דרמטית לספרים

  קריאת דיאלוגים מורכבים עם שליטה מדויקת במעברים רגשיים.

• שכפול קול לפרויקטים

  יצירת דיבור אמין מקובץ דגימה של 10 שניות ומעלה באנגלית.

איפה זה נופל

הוא תומך באנגלית בלבד, כך שלעברית הוא לא מתאים כרגע. יש רגישות גבוהה למבנה הקלט. מילים כמו אנחה או שיעול בתוך המירכאות ייאמרו בקול במקום להפוך לפעולה קולית, וצלילים לא מילוליים כמו צחוק דורשים כתיבה פונטית צמודה. בנוסף, ברירת המחדל מוסיפה חותמת מים נוירונית נסתרת של Resemble Perth לכל קובץ יוצא, וצריך לבטל אותה ידנית אם לא מעוניינים בה.

איך מריצים

כדי להריץ אותו צריך כ־24 GB של זיכרון גרפי בשיא בעבודה עם שרת חם. משקל קובץ ה־DiT הוא 6.6 GB, רכיבי האודיו הנוספים שוקלים 1.9 GB, ובנוסף מתבצעת הורדה אוטומטית של מקודד הטקסט של גמא בגרסת 4 ביט ששוקל כ־8 GB. אם אין לכם כרטיס עם זיכרון כזה, עדיף להשתמש ב־Space הקיים או לחפש חלופת ענן מנוהלת ולא לנסות להריץ לוקאלית.

pip install -U huggingface_hub
hf download ResembleAI/Dramabox

הקבצים

16 קבצים במאגר, 8.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dramabox-dit-v1.safetensors6.6 GB
• dramabox-audio-components.safetensors1.9 GB
• samples/04_catgirl_giggles_snort.wav7.6 MB
• samples/13_conan_wheezing_laughter.wav7.2 MB
• samples/06_arnie_panting_triumph.wav6.3 MB
• samples/09_villain_sinister_laugh.wav5.3 MB
• samples/01_queen_sighs_rage.wav4.9 MB
• samples/refs/04_catgirl_giggles_snort.wav414.5 KB
• samples/refs/01_queen_sighs_rage.wav351.6 KB
• samples/refs/09_villain_sinister_laugh.wav349.9 KB
• assets/Dramabox.png49.1 KB
• LICENSE21.5 KB
• README.md14.0 KB
• .gitattributes2.2 KB
• assets/silence_latent_frame.pt1.5 KB
• config.json1.1 KB

הרישיון

הוא מופץ תחת LTX-2 Community License שנקבע במקור על ידי Lightricks. מדובר ברישיון קהילתי ייעודי ולא ברישיון קוד פתוח סטנדרטי דוגמת MIT או אפאצ'י. מי שרוצה להטמיע אותו במוצר מסחרי חייב לקרוא את קובץ הרישיון המלא בעמוד כדי לבדוק הגבלות שימוש והיקפי הפצה מותרים.

הרישיון המלא בעמוד המודל ↗