Qwen2.5-Omni-7B-Demo

מה זה

האפליקציה מחולקת לשני מצבי עבודה עיקריים: מצב חי ומצב לא מקוון. במצב החי אתם מדברים ישירות דרך המיקרופון או מפעילים מצלמת רשת, והמערכת מחזירה תשובות קוליות בצ'אט. במצב הלא מקוון אפשר להעלות קובצי אודיו, תמונות או סרטוני וידאו מהמחשב, לצרף להם שאלת טקסט ולקבל מענה מותאם.

מאחורי הקלעים הקוד מתחבר באמצעות לקוח תואם OpenAI ומעבד צליל בעזרת ספריות כמו soundfile ו־numpy. בסרגל הצד אפשר להגדיר הנחיית מערכת מותאמת אישית ולבחור את הקול שיקריא את התשובות, כך שלא מדובר רק בצ'אט טקסטואלי אלא במערכת שמחזירה ישירות רכיבי שמע מרונדרים.

מתאים ל

• בדיקת הבנת וידאו

  מעלים קובץ וידאו קצר יחד עם שאלה טקסטואלית כדי לראות אם המודל מזהה מה מתרחש בסרטון.

• שיחה קולית ישירה

  מדברים ישירות למיקרופון ובודקים את היכולת של המודל לענות בחזרה בקול הנבחר.

• ניתוח תמונה והוראה

  מעלים תמונה ומוסיפים הנחיית מערכת ייעודית בסרגל הצד כדי לבחון מענה מדויק.

איפה זה נופל

ההדגמה הזו לא נועדה לשימוש מבצעי. החומרה החלשה תגרום לזמני תגובה איטיים בקבצי וידאו ארוכים, והקוד נשען על אחסון ענן חיצוני ושירותי צד ג' כדי לעבד חלק מהנתונים.

אם אתם בונים על תגובה חיה ורציפה כמו בשיחה אמיתית, כנראה שתתאכזבו מההשהיה. כדי להבין מה המודל באמת שווה בייצור, צריך להריץ אותו על חומרה מתאימה ולא להסתמך על הביצועים בממשק הזה.

איך משתמשים

בוחרים לשונית, מעלים מדיה או מדברים למיקרופון, ולוחצים על כפתור השליחה. בזמן העיבוד כפתור השליחה הופך לכפתור עצירה שמאפשר לקטוע את התשובה באמצע, ויש גם אפשרות לנקות את היסטוריית השיחה בלחיצה אחת.

ההדגמה רצה על מעבד בסיסי בלבד ללא מאיץ גרפי ייעודי. בגלל שמדובר במעבד רגיל, פענוח של קטעי וידאו כבדים או יצירת שמע עלולים לקחת זמן, במיוחד אם יש עומס של משתמשים נוספים על אותו מופע.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינויים כולל לצרכים מסחריים. שימו לב שהקוד עושה שימוש באחסון ענן לצורך שמירת נתונים ומטמון, כך שלא כדאי להעלות אליו תמונות או הקלטות פרטיות ורגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗