Realtime-whisper-large-v3-turbo

מה זה

אתם מדברים למיקרופון בהזרמה חיה או מעלים קובץ קול, ומקבלים בצד השני תמלול טקסטואלי יחד עם חלונית שמודדת את זמן ההשהיה בשניות. הממשק מציע שתי לשוניות נפרדות, אחת להקלטה רציפה והשנייה להעלאת קבצים מהמחשב. אין כאן דוגמאות מוכנות מראש ללחיצה, אלא ממשק נקי שמחכה לצליל שלכם.

מאחורי הקלעים רץ המודל openai/whisper-large-v3-turbo של OpenAI, שנטען בספריית transformers עם flash attention 2 כדי להאיץ את הביצועים. מדובר בגרסה מקוצרת ומהירה יותר של הדור השלישי, שאמורה לקצר את זמני העיבוד. חלק התרגום שהיה מתוכנן בקוד נוטרל בהערות, כך שנשארתם רק עם תמלול ישיר של מה שנאמר.

מתאים ל

• בדיקת מהירות המודל

  מדידת ההשהיה בפועל של גרסת הטורבו מול דיבור ישיר כדי לראות אם היא מתאימה לפרויקט שלכם.

• תמלול מהיר מהמיקרופון

  הקלטת רעיונות או הערות קוליות ישירות לתוך תיבת טקסט בלי להתקין ספריות פייתון.

• המרת קובצי שמע לטקסט

  העלאת הקלטה קיימת מהמחשב וקבלת התמלול שלה תוך מעקב אחרי זמני הריצה.

איפה זה נופל

למרות השם של המודל, יש כאן השהיה ראשונית של חמש שניות שמונעת ממנו להיות תמלול מיידי לחלוטין ברגע הראשון. אפשרות התרגום מנוטרלת בקוד המקור, כך שאין לכם בחירת שפת יעד אלא רק המרה ישירה מטקסט לקול. קבצים גדולים במיוחד או חיבור רשת לא יציב עלולים לקרטע בהזרמה, ולא מדווח שום מנגנון של סינון רעשים חיצוני.

איך משתמשים

נכנסים לעמוד ובוחרים אם לדבר למיקרופון או להעלות קובץ בלשונית השנייה וללחוץ על כפתור השליחה. לפי מה שהיוצר מציין בממשק, יצירת הטוקן הראשון לוקחת כחמש שניות, אבל מרגע שהיא מתחילה התמלול זורם ברצף. היישום רץ על גבי חומרת zero-a10g, מה שמבטיח כוח עיבוד של מאיץ גרפי ייעודי, אבל אם השרת היה כבוי תצטרכו להמתין קודם להתעוררות שלו.

הרישיון

הרישיון של המרחב עצמו לא דווח כלל במאגר. זה אומר שאין היתר שימוש מסחרי מוגדר בקוד של הממשק, והמידע שאתם מעבירים דרכו עובר בשרתי הדפדפן והאירוח.

הרישיון המלא ב־Hugging Face ↗