Qwen3-Omni-Captioner-Demo

מה זה

הממשק מבוסס על רכיב קלט שמע שבו אתם מעלים קובץ מהמחשב או מקליטים ישירות מהמיקרופון שלכם. בצד הפלט מופיעה תיבת טקסט שמציגה את התיאור של תוכן האודיו, כשהתוצאה מוזרמת בחזרה למסך ככל שהיא נוצרת.

מאחורי הקלעים רץ המודל Qwen/Qwen3-Omni-30B-A3B-Captioner, שמתמחה בהאזנה ובכתיבת כתוביות או תיאורים לצלילים ולדיבור. הקוד משתמש בחבילת dashscope כדי לקרוא לשירות, כך שהעיבוד הכבד לא מתבצע ישירות על השרת המארח אלא מועבר לעיבוד חיצוני ייעודי.

חוץ מהעלאת השמע, הממשק פותח תפריט פרמטרים שמאפשר לשחק עם ערכי ההפקה. אפשר לכוונן את הטמפרטורה, לבחור ערכי top p וגם לקבוע top k לפני שלוחצים על כפתור השליחה.

מתאים ל

• בדיקת זיהוי צלילים

  מעלים קבצי קול מגוונים כדי לראות איך המודל מזהה רעשי רקע, סביבה או אירועים קוליים שונים.

• הערכת תיאור דיבור

  מקליטים משפטים במיקרופון ובודקים את רמת הדיוק של התיאור הטקסטואלי שהמודל מייצר עבורם.

• ניסוי בפרמטרי הפקה

  משנים את ערכי הטמפרטורה והדגימה כדי לבחון איך הם משפיעים על סגנון התיאור שמופק מהשמע.

איפה זה נופל

ההדגמה מוגבלת ליצירת תיאור בלבד ולא מציעה שיחה חופשית, עריכה או תרגום מורכב של מה שנאמר. מי שמצפה לקבל תמלול מדויק מילה במילה עלול להתאכזב, כי המטרה המוצהרת כאן היא תיאור של השמע ולא כלי ייעודי לתמלול שיחות מלאות.

בנוסף, מאחר שהיא מבוססת על קריאות חיצוניות ולא על הרצה מקומית מלאה של המודל על החומרה הפנימית של העמוד, היא לא משקפת את המהירות או את המשאבים שתצטרכו אם תרצו לארח את המודל הזה אצלכם.

איך משתמשים

לוחצים על אזור ההקלטה כדי לדבר למיקרופון, או גוררים קובץ קיים לתיבת השמע. מתחת לקובץ אפשר להשאיר את ברירות המחדל של המדדים או להזיז את המחוונים כדי להשפיע על רמת הגיוון בטקסט, ואז לוחצים על כפתור Submit כדי לקבל את הפלט בתיבה הימנית. כפתור Clear מנקה את השדות כדי להתחיל מחדש.

ההדגמה יושבת על חומרת מעבד בסיסית, אבל בגלל שהקוד פונה לשירות dashscope החיצוני, העיבוד עצמו לא נחנק על המעבד המקומי של הדף. אין צורך בהתחברות או בהגדרת מפתחות אישיים כדי לנסות אותה ישירות בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד ובדיקה של הממשק. עם זאת, כל קובץ שמע שאתם מעלים או מקליטים נשלח לעיבוד דרך dashscope, ולכן לא הייתי מעלה לשם הקלטות רגישות או פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗