Fun-Audio-Chat-8B

מה זה

הארכיטקטורה כאן מחברת הבנת שמע ויצירת דיבור לתוך רשת אחת של 9.5 מיליארד פרמטרים. במקום לעבוד בקצב דגימה כבד כמו מודלים אחרים, הוא משתמש בייצוג שמע כפול, שלד מהיר של 5 הרץ לצד ראש מעודן של 25 הרץ. החלוקה הזו חוסכת כמעט חצי ממשאבי החישוב בריצה, בלי לפגוע באיכות הדיבור שיוצאת בצד השני.

המפתחים אימנו אותו בשיטה שהם מכנים Core-Cocktail כדי לא לאבד את יכולות הטקסט הרגילות של מודל שפה. במבחני ביצועים של הבנת אודיו ושאלות קוליות כמו VoiceBench, MMAU ו־Speech-BFCL, הוא מציג תוצאות מובילות מול מודלים אחרים סביב 8 מיליארד פרמטרים, במיוחד בהפעלת פונקציות ישירות מפקודות קוליות.

מתאים ל

• בוט שיחה קולי באנגלית

  מאפשר מענה בדיבור עם שיהוי נמוך והבנת ניואנסים קוליים ישירות מהמשתמש.

• הפעלת פונקציות מקול

  מפעיל קריאות API ישירות מהוראות שמע בזכות ביצועים גבוהים במבחני Speech-BFCL.

• ניתוח והבנת קובצי שמע

  מתמודד עם שאלות על הקלטות קוליות מורכבות בהסתמך על חלון הקשר של 262,144 טוקנים.

איפה זה נופל

הבעיה המרכזית שלו היא שפות. המודל הוכשר ותומך רק באנגלית ובסינית, כך שאין כאן שום תמיכה מובנית בעברית, לא בהבנה ולא בהפקה של קול. מי שרוצה להשתמש בו עבור קהל ישראלי יצטרך לבדוק אימון נוסף או לתרגם מסביב.

בנוסף, ריצה מלאה של שיחה קולית מחייבת שילוב של שני מודלים במקביל, המודל הראשי ומודל הקול CosyVoice, מה שמוסיף מורכבות לצינור הנתונים ולניהול הזכרון בפרודקשן.

איך מריצים

בשביל להריץ אותו להסקה צריך כרטיס מסך עם לפחות 24 גיגה זיכרון גרפי, סביבת פייתון 3.12 וגרסת פאיטורץ' 2.8.0. הקבצים שוקלים 17.6 גיגה בפורמט bfloat16, וכדי לקבל יכולת דיבור מלאה מקצה לקצה צריך להוריד לצדו גם מודל קול נפרד, Fun-CosyVoice3-0.5B.

אם אתם מתכננים לאמן או לכוונן אותו, הדרישות קופצות לארבעה כרטיסים של 80 גיגה זיכרון. אם אין לכם שרת ייעודי עם כרטיס חזק וחיבור יציב, כנראה יהיה זול ופשוט יותר להישאר עם שירותי ענן במקום לתחזק מכונה מקומית כבדה.

from transformers import pipeline

pipe = pipeline("any-to-any", model="FunAudioLLM/Fun-Audio-Chat-8B")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 17.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors3.9 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• speech_tokenizer/tokenizer.json1.2 MB
• speech_tokenizer/tokenizer_config.json1.1 MB
• model.safetensors.index.json120.7 KB
• tokenizer_config.json6.8 KB
• README.md5.7 KB
• README_zh.md5.6 KB
• chat_template.jinja4.0 KB
• config.json2.7 KB
• .gitattributes1.6 KB
• special_tokens_map.json883 B
• added_tokens.json832 B
• speech_tokenizer/special_tokens_map.json499 B
• preprocessor_config.json364 B
• generation_config.json240 B
• processor_config.json218 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או מסחרית, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗