Kimi-Audio-7B-Instruct

מה זה

מדובר במודל שמחבר הבנת שמע ויצירת דיבור תחת ארכיטקטורה אחת עם 28 שכבות וחלון של 8,192 טוקנים. במקום לחבר מודל תמלול נפרד, מודל שפה ומודל הקראה, הוא מעבד קלט שמע היברידי ופולט טקסט וסאונד במקביל. הבסיס שלו אומן על מעל 13 מיליון שעות שמע מגוונות הכוללות דיבור, מוזיקה וצלילים.

הוא מתמודד עם תמלול, מענה קולי לשאלות, תיאור סביבה אקוסטית, זיהוי רגשות וסיווג רעשים. ההבדל המרכזי מול פתרונות אחרים הוא שימוש בדטוקנייזר מבוסס flow matching שמזרים אודיו בחלקים כדי לחתוך את זמני ההמתנה ביצירת הקול.

מתאים ל

• עוזר קולי באנגלית

  שיחה קולית מקצה לקצה שמייצרת תשובות דיבור ישירות בעזרת הזרמת שמע מהירה.

• תמלול וניתוח רגש

  זיהוי דיבור משולב עם פענוח תחושות ואירועי רקע באותו מעבר חישובי.

• מענה קולי לשמע

  האזנה להקלטות ומתן תשובות טקסטואליות או קוליות על התוכן שנשמע בהן.

איפה זה נופל

השפות הנתמכות הן אנגלית וסינית בלבד, כך שעבור פרויקטים בעברית הוא לא מתאים כרגע. מעבר לכך, הכרטיס מציג כותרות כלליות על תוצאות מדידה בלי לפרט ציונים מדויקים בתוך הטקסט, ומדובר בארכיטקטורה ייעודית MoonshotKimiaForCausalLM שדורשת קוד ייעודי של ספריית kimi-audio ולא עובדת בהכרח ישר מהקופסה בספריות סטנדרטיות.

אותה משפחה

Kimi-Audio יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו תצטרכו להוריד 39.7 גיגה בייט של קבצים בפורמט bfloat16. המפתחים ממליצים להרים אותו בתוך קונטיינר של דוקר באמצעות התמונה הרשמית moonshotai/kimi-audio:v0.1 או לבנות לבד ממאגר הגיטהאב כדי למנוע בעיות תלויות.

במשקל כזה ועם 9.8 מיליארד פרמטרים, תצטרכו מאיץ גרפי ייעודי עם מספיק זיכרון וידאו להחזקת המשקולות והרצת מנגנון הזרימה. אם אין לכם חומרה כזו מקומית, עדיף לפנות לפתרון ענן שבו מריצים את הקונטיינר לפי דרישה במקום לנסות להריץ על מחשב פיתוח רגיל.

pip install -U huggingface_hub
hf download moonshotai/Kimi-Audio-7B-Instruct

הקבצים

64 קבצים במאגר, 39.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• audio_detokenizer/model.pt19.0 GB
• model-36-of-36.safetensors3.6 GB
• whisper-large-v3/model.safetensors3.1 GB
• vocoder/model.pt964.9 MB
• model-29-of-35.safetensors466.1 MB
• model-30-of-35.safetensors466.1 MB
• model-31-of-35.safetensors466.1 MB
• model-32-of-35.safetensors466.1 MB
• model-33-of-35.safetensors466.1 MB
• model-34-of-35.safetensors466.1 MB
• model-11-of-35.safetensors466.1 MB
• model-12-of-35.safetensors466.1 MB
• model-13-of-35.safetensors466.1 MB
• model-14-of-35.safetensors466.1 MB
• model-15-of-35.safetensors466.1 MB
• model-16-of-35.safetensors466.1 MB
• model-17-of-35.safetensors466.1 MB
• model-18-of-35.safetensors466.1 MB
• model-19-of-35.safetensors466.1 MB
• model-20-of-35.safetensors466.1 MB
• model-21-of-35.safetensors466.1 MB
• model-22-of-35.safetensors466.1 MB
• model-23-of-35.safetensors466.1 MB
• model-24-of-35.safetensors466.1 MB
• model-25-of-35.safetensors466.1 MB
• model-26-of-35.safetensors466.1 MB
• model-27-of-35.safetensors466.1 MB
• model-28-of-35.safetensors466.1 MB
• model-1-of-35.safetensors466.1 MB
• model-10-of-35.safetensors466.1 MB
• model-2-of-35.safetensors466.1 MB
• model-3-of-35.safetensors466.1 MB
• model-4-of-35.safetensors466.1 MB
• model-5-of-35.safetensors466.1 MB
• model-6-of-35.safetensors466.1 MB
• model-7-of-35.safetensors466.1 MB
• model-8-of-35.safetensors466.1 MB
• model-9-of-35.safetensors466.1 MB
• model-35-of-35.safetensors62.4 MB
• tiktoken.model2.6 MB

הרישיון

הרישיון המדווח הוא MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי קוד. עם זאת, הכרטיס מציין שהמודל מתבסס על Qwen 2.5-7B, ולכן קוד שנגזר ממנו כפוף לרישיון Apache 2.0 בעוד שאר החלקים תחת MIT. בשני המקרים מדובר ברישיונות מתירניים שמאפשרים שילוב במוצרים, בתנאי ששומרים על הודעות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗