Hibiki-simple

מה זה

אתם מעלים קובץ קול או וידאו בצרפתית, והמערכת מחזירה אודיו מתורגם באנגלית. מתחת למכסה רץ המודל hibiki-1b-pytorch-bf16 של מעבדת Kyutai, שמבצע תרגום דיבור לדיבור ומנסה לשמור על מאפייני הקול והתזמון המקוריים.

הממשק כולל גם עריכה בסיסית. אפשר להנמיך את עוצמת פס הקול המקורי, לקצר את השהיית התרגום בעזרת סליידר ייעודי, ולהלביש את השמע המתורגם בחזרה על קובץ הווידאו המקורי דרך moviepy. בדוגמאות המוכנות מראש תמצאו קטעי דיבור כמו הסבר על קרפים, קטע היכרות ומונולוג מוכר בצרפתית, שנועדו לבדיקה מהירה של איכות הפלט.

מתאים ל

• תרגום קטעי וידאו מצרפתית

  מעלים סרטון בצרפתית ומפיקים גרסה עם שמע מתורגם לאנגלית בלי לעבור דרך תמלול טקסטואלי נפרד.

• בדיקת איכות למודל Hibiki

  מריצים דגימות דיבור אמיתיות כדי לראות איך המודל של Kyutai מתמודד עם מבטאים ותזמון בפועל.

• דיבוב מהיר של פודקאסטים

  מעלים קטע שמע קצר ומקבלים גרסה אנגלית עם שליטה על עוצמת הקול המקורי ברקע.

איפה זה נופל

הכלי מוגבל אך ורק לתרגום מצרפתית לאנגלית, ואין בו שום תמיכה בעברית או בשפות אחרות. אם תעלו וידאו ארוך מאוד, החומרה החינמית עשויה להיעצר או לחרוג ממגבלות הזמן של השרת. כמו כן, מדובר בהדגמה פשוטה של קוד פתוח שלא נועדה להפקות מסחריות כבדות שדורשות סנכרון שפתיים מדויק.

איך משתמשים

גוררים קובץ אודיו או וידאו, או בוחרים באחת הדוגמאות, ולוחצים על כפתור התרגום. היישום רץ על מעבד גרפי ייעודי מסוג Zero A10G, כך שהעיבוד מתחיל תוך שניות בודדות אם המשאב פנוי. אחרי שהתרגום מוכן, מופיעה רשימת תוצרי שמע, ומשם אפשר לשלב את הסאונד חזרה לווידאו בלחיצה נוספת. אין צורך בחשבון או בהתחברות כדי להתחיל לעבוד.

הרישיון

הרישיון של המרחב לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ורצוי להתייחס אליו כסביבת בדיקה והתנסות בלבד עד להסדרת הזכויות מול היוצר ומפתחי המודל.

הרישיון המלא ב־Hugging Face ↗