hibiki-zero-3b-pytorch-bf16
קוד פתוחkyutaiרישיון לא דווח2026-02-09
תרגום קולי סימולטני מארבע שפות לאנגלית שמחזיק קול ומייצר גם טקסט בזמן אמת. פתרון ישיר בלי לפרק את הצינור לתמלול, תרגום טקסט ומנוע דיבור נפרד.
- 6.2 GBמשקל הקבצים
- 1,701הורדות בחודש
- 59לייקים
מה זה
המודל הזה מקבל אודיו רציף בצרפתית, ספרדית, פורטוגזית או גרמנית, ופולט קול באנגלית לצד תמלול מתורגם עם חותמות זמן. הוא מבוסס על ארכיטקטורת multistream בנפח שלושה מיליארד פרמטרים שמעבדת את קלט המקור ומייצרת את שמע היעד במקביל. השמע מקודד ומפוענח דרך הקודק Mimi בקצב של 12.5 הרץ ובדחיסה של 2.2 קילוביט לשנייה.
בניגוד למערכות מסורתיות שדורשות יישור מדויק ברמת המילה בין שפת המקור ליעד בזמן האימון, כאן נפטרו מהתלות הזו לגמרי. הוא ממתין לצבירת הקשר מספק בקלט ואז מתחיל להזרים שמע מתורגם תוך שמירה על גוון הקול של הדובר המקורי. הדגימה מתבצעת בטמפרטורה פשוטה, מה שמאפשר עיבוד במקביל של מספר רצפים.
מתאים ל
- תרגום חי מגרמנית או צרפתית
מאפשר תרגום שמע ישיר לאנגלית בהזרמה רציפה בלי להרכיב צינור נפרד של זיהוי קול ומנוע דיבור.
- עיבוד מרוכז של שיחות שמע
הרצה מקבילית של קובצי שמע על כרטיס מסך מהיר כדי לקבל תרגום קולי וטקסטואלי מסונכרן.
- אימון לשפות קלט נוספות
לפי נתוני הפרויקט אפשר לבצע התאמה לשפה חדשה עם פחות מאלף שעות שמע הודות לוויתור על יישור מילים.
איפה זה נופל
התרגום עובד רק לכיוון אחד, לאנגלית, ורק מארבע שפות אירופיות מוגדרות. אין כאן עברית, לא בקלט ולא בפלט. המערכת אומנה על מקטעים של עד 120 שניות, והיא מתוכננת רשמית לדובר בודד ובשפה בודדת בכל שיחה, אף שמפתחי המודל מדווחים על יכולת מסוימת להתמודד עם מספר דוברים. בנוסף, חל איסור מפורש להשתמש בו לחיקוי קול זדוני.
שאלות
נפוצות
האם המודל תומך בתרגום לעברית או מעברית?
לא, אין בו תמיכה בעברית. שפות הקלט מוגבלות לצרפתית, ספרדית, פורטוגזית וגרמנית, ושפת הפלט היחידה היא אנגלית.
אפשר להטמיע אותו באפליקציה מסחרית בתשלום?
לא. הרישיון של הפרויקט הוא CC BY-NC-SA 4.0, שאוסר במפורש שימוש מסחרי ומחייב שיתוף תחת אותם תנאים.
איך מריצים
המשקל עומד על 6.2 גיגה בייט בפורמט bf16, כך שכרטיס מסך בודד עם 16 גיגה זיכרון יספיק לטעינה ולהסקה בסיסית. לפי הבדיקות של הצוות, על גבי H100 בודד אפשר להריץ הסקה באצוות במהירות שמגיעה לפי שלושה מזמן אמת. קוד ההרצה הרשמי יושב במאגר הגיטהאב שלהם ומבוסס על קודק Mimi.
אם אתם צריכים רק תרגום מדי פעם לקבצים קצרים, הקמה של סביבה עם PyTorch ותלויות האודיו של הפרויקט עשויה להיות מיותרת. להרצה עצמאית יש היגיון כשחייבים שיהוי נמוך מאוד בהזרמה חיה, או כשמעבדים נפח גדול של שעות שמע ומחזיקים כבר חומרה מתאימה.
pip install -U huggingface_hub hf download kyutai/hibiki-zero-3b-pytorch-bf16
הקבצים
6 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בכרטיס המודל המקורי מוגדר רישיון CC BY-NC-SA 4.0, אף שבראש הדף לא דווח רישיון רשמי. המשמעות היא שאין אישור לשימוש מסחרי מכל סוג שהוא. כל שימוש מותר רק למחקר או לפרויקטים אישיים, וכל נגזרת שתפיצו חייבת לשאת את אותו הרישיון בדיוק.