whisper-jax-spaces

מה זה

מזינים קובץ שמע, מקליטים ישירות דרך המיקרופון, או מדביקים כתובת של סרטון יוטיוב. בוחרים אם לבצע תמלול רגיל או תרגום, ומסמנים אם רוצים לקבל חותמות זמן לצד הטקסט. בסיום התהליך מופיע הטקסט המלא בתיבה שמאפשרת העתקה נוחה, ויחד איתו מוצג זמן הריצה המדויק בשניות. הממשק כולל קישור מובנה לדוגמה עם סרטון יוטיוב כדי לבדוק איך התוצאה נראית עוד לפני שמעלים קובץ משלכם.

מאחורי הקלעים הקוד מתבסס על מימוש של מודלי Whisper בעזרת JAX, במטרה לשפר את קצב העבודה בהשוואה למימושים רגילים בפייתורץ'. הקוד כולל תמיכה במודלים כמו whisper-large-v3, גרסת v2, ודגמי tiny, לצד חלוקה של קטעי שמע ארוכים לעבודה במנות קטנות.

מתאים ל

• תמלול סרטוני יוטיוב

  מדביקים קישור לסרטון ומקבלים תמלול טקסטואלי מלא עם חותמות זמן בלי להוריד את הווידאו למחשב.

• המרת הקלטות שמע לטקסט

  מעלים קובץ אודיו קיים וממירים אותו לטקסט שניתן להעתיק בלחיצה אחת לצורך מעקב ועריכה.

• תרגום קולי מאודיו

  בוחרים באפשרות התרגום בממשק כדי להפיק ישירות טקסט מתורגם מהדיבור שנשמע בקובץ.

איפה זה נופל

הבעיה המיידית היא שהיישום קורס ולא זמין לשימוש בגלל שגיאת ריצה. מעבר לכך, התיאור בעמוד מציין ריצה מהירה במיוחד על גבי חומרת TPU ייעודית, בזמן שהחומרה המוקצית בפועל במערכת היא מעבד בסיסי רגיל. הקוד גם מגביל סרטוני יוטיוב לפי אורך, כך שקבצים ארוכים מדי נחסמים מיד עם הודעת שגיאה.

איך משתמשים

לוחצים על הלשונית הרלוונטית, מעלים את הקובץ או מדביקים קישור, ולוחצים על שליחה. יש מד התקדמות שמציג את שלבי העיבוד, והתוצאה מופיעה ישירות בתיבת הטקסט לצד משך הביצוע. עם זאת, נכון לעכשיו העמוד מוגדר עם חומרת מעבד בסיסית בלבד ונמצא במצב שגיאה בזמן ריצה, כך שהשרת כלל לא מתפקד בדפדפן ואי אפשר להריץ עליו שום דבר כרגע.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר להשתמש בקוד, להעתיק אותו ולשנות אותו באופן חופשי יחסית, כולל לשימוש מסחרי, כל עוד שומרים על תנאי הרישיון והקרדיט. הקבצים מועלים לשרת חיצוני לצורך העיבוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗