Qwen2-Audio-7B-Instruct

מה זה

מדובר במודל שפה וקול של 8.4 מיליארד פרמטרים, שמקבל אודיו ופולט טקסט. בשונה מחיבור רגיל של מודל תמלול למודל שפה, הוא מעבד את האות הקולי ישירות. הוא מגיע בשני מצבי עבודה עיקריים: שיחה מבוססת קול בלבד, או ניתוח של קובץ קול יחד עם הוראת טקסט שאתם מספקים לו.

הוא מבוסס על סדרת Qwen2 ומיועד להגיב לפקודות שמשולבות בדיבור. התמיכה המדווחת שלו היא באנגלית בלבד. עם חלון הקשר של 8,192 טוקנים, יש לו מספיק מרחב כדי לקבל קטעי שמע משמעותיים יחד עם היסטוריית השיחה ולהחזיר תשובות מפורטות בפורמט צ'אט רגיל.

מתאים ל

• עוזר קולי מבוסס שיחה

  מאפשר לענות ישירות לשאלות קוליות באנגלית בלי צורך במנוע תמלול נפרד.

• ניתוח והבנת הקלטות

  קבלת קובץ קול יחד עם שאלת טקסט וקבלת מענה על תוכן ההקלטה.

• תחקור שיחות טלפוניות

  חילוץ תובנות ופרטים מתוך קבצי שמע באנגלית לפי בקשות מוגדרות מראש.

איפה זה נופל

השפה היחידה שמדווחת בכרטיס היא אנגלית, כך שאל תבנו עליו לעבודה בעברית בלי בדיקה מוקדמת ויסודית של יכולות הזיהוי והפלט. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, מה שחוסם אפשרות לנתח קבצי אודיו ארוכים מאוד ברצף אחד. כדאי לבדוק טוב איך הוא מתמודד עם רעשי רקע לפני שמשלבים אותו במערכת פעילה.

אותה משפחה

Qwen2-Audio יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים שוקלים 15.7 גיגהבייט, כך שכדי להריץ אותו כמו שצריך בזיכרון של כרטיס מסך, תצטרכו חומרה עם לפחות 16 עד 24 גיגהבייט VRAM. הוא רץ דרך ספריית transformers, אבל שימו לב שהיוצרים מציינים במפורש שצריך להתקין את הספרייה ישירות מקוד המקור בגיטהאב, אחרת תקבלו שגיאה שהארכיטקטורה לא מזוהה.

קיימת גרסת בסיס לאימון וגרסת ההוראות הזו שמתאימה ישירות לשיחה. אם אין לכם שרת עם כרטיס מסך מתאים וזמין ברציפות, עדיף להשתמש בנקודת קצה מנוהלת במקום להחזיק תשתית כבדה ויקרה בשביל קריאות בודדות.

from transformers import pipeline

pipe = pipeline("audio-text-to-text", model="Qwen/Qwen2-Audio-7B-Instruct")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors4.0 GB
• model-00002-of-00005.safetensors4.0 GB
• model-00001-of-00005.safetensors3.9 GB
• model-00004-of-00005.safetensors3.6 GB
• model-00005-of-00005.safetensors1.3 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• tokenizer_config.json638.3 KB
• model.safetensors.index.json79.0 KB
• README.md8.7 KB
• .gitattributes1.5 KB
• config.json853 B
• preprocessor_config.json342 B
• generation_config.json230 B

הרישיון

המודל משוחרר ברישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗