mini-omni2

מה זה

מדובר במודל שמקבל תמונות, שמע וטקסט ומחזיר תגובה קולית ישירה בזמן אמת, לפי מנגנון פלט מקבילי מושהה שמונחה על ידי טקסט. בשונה מרוב המערכות שמרכיבות מודל שמיעה נפרד, מודל שפה באמצע ומודל דיבור בסוף, כאן התהליך קורה מקצה לקצה. השילוב הזה חוסך זמני המתנה בשיחה ומאפשר למודל להגיב ישירות למה שהוא רואה ושומע.

הבסיס נשען על מודל השפה Qwen2, יחד עם Whisper לקידוד האודיו, CLIP לראייה, ו־snac לפענוח הקול החוצה. האימון נעשה בשלושה שלבים של התאמת מקודדים, יישור מודאלי וכוונון עדין רב-מודאלי עם נתונים ממאגרים כמו OpenOrca ו־MOSS. משקל הקבצים עומד על 3.4 גיגה-בייט בלבד, מה שהופך אותו לניסוי מעניין מאוד ביחס ליכולות שלו.

מתאים ל

• עוזר קולי עם ראייה

  שיחה קולית ישירה באנגלית על תמונות שהמשתמש מעלה בזמן אמת, בלי להמתין למודלי תמלול נפרדים.

• מחקר אינטראקציה מקצה לקצה

  בדיקת ארכיטקטורות של דיבור ישיר לדיבור וקלט רב-מודאלי על גבי מודל קומפקטי שמבוסס על Qwen2.

• הדגמות מקומיות של דיבור

  הרצה מקומית של שרת שיחה מבוסס קול ותמונה ללא תלות בחיבור רשת או בתשלום לפי קריאות.

איפה זה נופל

המודל אומן לפלוט דיבור אך ורק באנגלית. למרות שמקודד השמע של וויספר מסוגל להבין שפות זרות בקלט, התגובה הקולית תמיד תהיה באנגלית בלבד, כך שלשיחה בעברית הוא לא יעזור כרגע. בנוסף, מנגנון קטיעת הדיבור של המודל באמצע משפט מסומן עדיין כמשימה פתוחה בפיתוח, מה שאומר שהאינטראקציה לא תהיה חלקה לגמרי בשיחה מתפרצת.

איך מריצים

כדי להריץ אותו צריך לשכפל את המאגר של המיזם, להתקין תלויות פייתון ולהרים שרת מקומי שמריץ את קובץ השרת עם ffmpeg מותקן במערכת. הממשק הגרפי מבוסס על סטרים-ליט ודורש הרצה מקומית עם ספריית PyAudio כדי לקלוט ולהשמיע קול ישירות מהחומרה שלכם.

במשקל של 3.4 גיגה-בייט הקבצים יכולים לשבת בקלות על כרטיס מסך מודרני בודד בעל זיכרון צנוע יחסית. עם זאת, ההקמה דורשת התעסקות בספריות שמע וחומרה מקומית, ואם אתם רק צריכים זיהוי תמונה פשוט או תמלול נקודתי בלי דיאלוג חי, עדיף להשתמש בשרותי ענן קיימים.

pip install -U huggingface_hub
hf download gpt-omni/mini-omni2

הקבצים

14 קבצים במאגר, 3.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• lit_model.pth2.8 GB
• small.pt483.6 MB
• ViT-B-32.pt354.0 MB
• data/omni2-demo.mp411.8 MB
• tokenizer.json7.0 MB
• data/figures/samples.png2.6 MB
• data/figures/title.png1.8 MB
• data/figures/framework.jpeg406.0 KB
• data/figures/training.jpeg352.7 KB
• data/figures/inputids.png335.1 KB
• README.md4.5 KB
• .gitattributes1.7 KB
• tokenizer_config.json1.3 KB
• model_config.yaml873 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי הקוד והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים המקורית בתוך המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗