MiMo-Audio-7B-Instruct

מה זה

מדובר במודל שפת אודיו שעבר אימון הוראות ומבוסס על שילוב של טוקנייזר ייעודי, מקודד ומפענח פאצ'ים. המבנה הזה מכווץ רצפי שמע לקצב של 6.25 הרץ עבור שפת הבסיס, ומפענח בחזרה לאודיו בקצב של 25 הרץ. שיאומי שילבו בו מנגנוני חשיבה עבור ניתוח ויצירת שמע, והוא מיועד לתפקד כמערכת שמקבלת ומוציאה אודיו וטקסט באופן ישיר.

במבחני ביצועים של הבנת שמע, דיאלוג מדובר ומשימות טקסט לדיבור מונחות הוראות, גרסת ההוראות הזו הגיעה לתוצאות מובילות בקטגוריית הקוד הפתוח. המשמעות בפועל היא יכולת לנהל שיחה קולית רציפה ולהגיב להוראות מורכבות בלי להישען על מודל טקסט חיצוני באמצע.

מתאים ל

• סוכני שיחה קוליים

  ניהול אינטראקציה מדוברת ישירה ללא המרה כפולה לטקסט וחזרה.

• הפקת דיבור לפי הוראות

  יצירת שמע עם שליטה בסגנון ובטון על בסיס הנחיות טקסטואליות.

• ניתוח והבנת שמע

  עיבוד קבצי אודיו והפקת תשובות לשאלות על תוכן השיחה.

איפה זה נופל

חלון ההקשר מוגבל ל־8,192 טוקנים, מה שמציב גבול ברור לאורך השיחה והשמע שאפשר להזין בבת אחת. למרות שיש תמיכה ביצירת דיאלוגים והבנה, אין בתיעוד שום מידע על תמיכה בשפות שאינן אנגלית או סינית, כך שעבור עברית כנראה תיתקלו בחוסר הבנה או פלט משובש. בנוסף, חובת השימוש בטוקנייזר חיצוני מסבכת את כל תהליך ההטמעה.

אותה משפחה

MiMo-Audio יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל של הקבצים עומד על 15.0 גיגה בייט בדיוק bfloat16, אבל כדי להריץ אותו צריך להוריד גם את הטוקנייזר הנפרד שמחזיק עוד 1.2 מיליארד פרמטרים. ההרצה דורשת סביבת לינוקס, פייתון 3.12, CUDA 12.0 ומעלה, והתקנה של ספריית flash-attn בגרסה ספציפית.

שיאומי מספקים סקריפט הדגמה מבוסס ממשק גרדיו וסקריפטים לאינפרנס ישיר. אם אין לכם כרטיס גרפי מתאים לתמיכה במודל כזה יחד עם רכיב הטוקנייזר הנוסף, עדיף להמתין לממשקי ענן במקום להסתבך עם התקנות מקומיות.

pip install -U huggingface_hub
hf download XiaomiMiMo/MiMo-Audio-7B-Instruct

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.1 GB
• model-00004-of-00004.safetensors2.0 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json62.2 KB
• tokenizer_config.json8.7 KB
• README.md7.5 KB
• .gitattributes1.6 KB
• config.json1.3 KB
• added_tokens.json788 B
• special_tokens_map.json616 B

הרישיון

הרישיון הוא רישיון MIT. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית בתוך המוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗