moshiko-pytorch-bf16
קוד פתוחkyutaicc-by-4.02024-09-11
מודל קול לקול מלא שמנהל שיחה קולית רציפה בלי תורים מוגדרים מראש ועם שיהוי של כמאתיים מילישניות בפועל.
- 7.7Bפרמטרים
- 14.7 GBמשקל הקבצים
- 164,578הורדות בחודש
- 255לייקים
מה זה
מדובר במודל שפת דיבור שמייצר אודיו ישירות מתוך אודיו, ולא בשרשור רגיל של תמלול, מודל שפה וטקסט לדיבור. הוא ממדל במקביל שני ערוצים נפרדים, את הדיבור שלכם ואת הדיבור שלו, מה שמאפשר לו להקשיב ולהגיב ברצף בלי לחכות לסיום המשפט. הוא חוזה טוקנים של טקסט במקביל לטוקנים של קודק האודיו, שיטה שמשפרת את איכות הדיבור ומספקת תמלול בזמן אמת.
הבסיס הטקסטואלי נשען על המודל Helium שאומן על מידע מהרשת, ויקיפדיה ומאמרים מדעיים, בעוד רכיב האודיו אומן על שבעה מיליון שעות שמע באנגלית, לצד אלפי שעות שיחה מוקלטות ושיחות סינתטיות. המערכת מגיעה לשיהוי תיאורטי של 160 מילישניות ולשיהוי מעשי של כ־200 מילישניות, מה שנותן שיחה בקצב אנושי כמעט לחלוטין באנגלית.
מתאים ל
- עוזר קולי לשיחות קלילות
מתאים לשיחה שוטפת באנגלית עם שיהוי נמוך מאוד, כל עוד לא נדרשים כלים חיצוניים.
- אימון בדיבור באנגלית
מאפשר תרגול שיחה קולית חופשית בקצב דיבור טבעי בלי להמתין לתורות מובנים.
- מחקר על מודלי דיבור מקצה לקצה
מספק ארכיטקטורה פתוחה לקודק אודיו וחיזוי טקסט במקביל ללמידת דיאלוג קולי.
איפה זה נופל
המודל מדבר ומבין אנגלית בלבד, ואין לו שום תמיכה בעברית. היכולות שלו מוגבלות לשיחה בסיסית, טריוויה ומשחקי תפקידים, והוא אינו מסוגל להפעיל כלים חיצוניים או לבצע משימות חישוביות מורכבות. הוא מאומן להפיק קול אחד בלבד כדי למנוע התחזות, והיוצרים מציינים במפורש שהוא מיועד למחקר בלבד ולא למתן ייעוץ מקצועי.
שאלות
נפוצות
האם המודל תומך בעברית?
לא. נתוני האימון מבוססים על אנגלית בלבד, והוא אינו מבין או מדבר עברית כלל.
האם הוא יכול להתחבר למסד נתונים או להריץ פעולות?
לא, אין לו תמיכה בחיבור לכלים חיצוניים או בביצוע פעולות מעבר ליצירת השיחה עצמה. המטרה שלו מתמקדת בדיאלוג קולי טבעי ומהיר בלבד.
איך מריצים
המודל שוקל 14.7 גיגה־בייט בחמישה קבצים ומגיע בדיוק של bf16 עם כ־7.7 מיליארד פרמטרים. כדי להריץ אותו מקומית צריך כרטיס מסך עם לפחות 16 עד 24 גיגה־בייט של זיכרון גרפי (VRAM), תוך שימוש בספריית moshi הייעודית ב־PyTorch שפורסמה בריפו של המפתחים.
אם אין לכם חומרה ייעודית עם זיכרון גרפי מתאים, הניסיון להריץ אותו מקומית יקר ולא יעיל, ועדיף לבדוק את הדמו של המפתחים או לפנות לפתרונות אירוח בענן.
pip install -U huggingface_hub hf download kyutai/moshiko-pytorch-bf16
הקבצים
5 קבצים במאגר, 14.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא CC-BY-4.0. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו הלאה, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם בוצעו שינויים בקוד או במשקלים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס