MGM-Omni

מה זה

מזינים קלט טקסטואלי, מקליטים הודעה קולית או מעלים תמונות וסרטוני וידאו, ומקבלים תשובה בצורת טקסט או קובץ אודיו ישירות בחלון הצ'אט. בעמודה הצדדית אפשר להקליט קול משלכם או להעלות קובץ שמע כדי לבצע שיבוט קולי של התשובות, ויש גם גלריית דוגמאות מובנית לבחירת קולות מוכנים.

מאחורי הקלעים רצה שרשרת מודלים מורכבת. פענוח הקול נעשה באמצעות whisper-large-v3, עיבוד התמונה והווידאו נשען על סדרת Qwen2-VL ו־Qwen2.5-VL בנפח 7B, והפקת התוכן והקול מתבצעת על ידי מודלי MGM-Omni-7B ו־MGM-Omni-TTS-2B שנבנו לצורך דיבור מותאם אישית לאורך זמן.

מתאים ל

• ניתוח תמונה בליווי קולי

  מעלים תמונה או וידאו ושואלים שאלה כדי לקבל תשובה מדוברת ומנותחת ישירות בצ'אט.

• בדיקת שיבוט קול לקטעים ארוכים

  מעלים דגימת קול קצרה ומפיקים ממנה קטעי שמע ארוכים מתוך הנחיות טקסט.

• הערכת ביצועי מודלי שמע פתוחים

  בחינת יכולות הסינתזה וההבנה של מודלי MGM מול קלט מולטימדיה מגוון.

איפה זה נופל

השרשור של מודל תמונה, מודל תמלול ומודל דיבור על גבי חומרה שיתופית יוצר זמני תגובה איטיים ביחס לשיחה שוטפת. בנוסף, המערכת נשענת על מודלי בסיס שלא עברו התאמה ייעודית לעברית, ולכן ניסיונות לתקשר או להפיק שמע בעברית עלולים להיכשל או להישמע משובשים לחלוטין.

איך משתמשים

בוחרים מצב שיחה וסוג קלט, מקלידים או מעלים מדיה, ולוחצים על כפתור השליחה או הפקת הדיבור. ההרצה מתבצעת על גבי מאיץ zero-a10g שמקצה משאבים לפי דרישה, כך שייתכן עיכוב ראשוני של כמה שניות בעת טעינת המודלים לזיכרון. אין צורך בהרשמה או התחברות כדי להתחיל.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית בכפוף לתנאי הרישיון. התוכן שמועלה מעובד על גבי השרת המארח של ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗