granite-speech-3.3-2b

מה זה

המודל בנוי משילוב של מקודד אודיו מבוסס Conformer עם מודל השפה granite-3.3-2b-instruct. הוא מטפל בתמלול אודיו (ASR) ובתרגום דיבור (AST) באנגלית, צרפתית, גרמנית, ספרדית ופורטוגזית, לצד תרגום מאנגלית ליפנית ולמנדרינית. אם שולחים אליו טקסט ללא אודיו, הוא מתפקד כמודל שפה רגיל לגמרי.

הייחוד כאן הוא ארכיטקטורת שני שלבים מפורשת. המודל קודם כל מתמלל את קובץ האודיו לטקסט, ורק בקריאה שנייה נפרדת אפשר להעביר את הטקסט למודל השפה לעיבוד נוסף. זה שונה ממודלים שמשלבים אודיו וטקסט במעבר יחיד, ומונע מהאודיו להשפיע ישירות על שיקול הדעת של מודל השפה.

מתאים ל

• תמלול שיחות באנגלית

  מתאים לשרת פנימי שמתמלל הקלטות פגישות או שיחות שירות בשפות אירופיות נתמכות ללא תלות ברשת חיצונית.

• תרגום קולי מאנגלית

  תרגום ישיר של קבצי קול מאנגלית ליפנית או מנדרינית כחלק מתהליך לוקליזציה של תוכן מוקלט.

• עוזר קולי מאובטח

  ארכיטקטורת שני השלבים מבודדת את האודיו מהפקודות הטקסטואליות ומונעת מתקפות הזרקת פקודות דרך קול.

איפה זה נופל

החיסרון המרכזי לקורא הישראלי הוא היעדר מוחלט של תמיכה בעברית. המודל אומן על אנגלית וכמה שפות אירופיות בלבד, כך שלא תוכלו לתמלל איתו שיחות מקומיות. מעבר לזה, הכרטיס מציין במפורש שמודלים בגודל כזה רגישים להזיות בניסוח טקסט. התכנון של שתי קריאות נפרדות מחייב אתכם לבנות לוגיקה שמנהלת שני צעדים במקום לקבל תשובה ישירה מקובץ קול.

אותה משפחה

granite-speech-3.3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל יושב על 11 גיגה בייט בדיוק bfloat16, כך שכרטיס מסך בודד עם 16GB זיכרון כמו RTX 4080 או מקביל בענן מספיק להרצה מקומית. אפשר להריץ אותו עם ספריית transformers או דרך vLLM במצב אופליין ואונליין, מה שמקל על הכנסה לשרת קיים.

אם כל מה שאתם צריכים זה תמלול נקי באנגלית בלי לגעת במודל השפה, שירותי API ייעודיים כמו Whisper יהיו פשוטים יותר לתחזוקה. המודל הזה שווה את הטרחה רק אם אתם רוצים את כל הצינור בתוך השרת שלכם או מתכננים לעבד את הטקסט מיד עם מודל ה־2B המובנה.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="ibm-granite/granite-speech-3.3-2b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 11.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors2.0 GB
• model-00001-of-00003.safetensors2.0 GB
• model-00001-of-00004.safetensors2.0 GB
• model-00002-of-00003.safetensors2.0 GB
• model-00002-of-00004.safetensors2.0 GB
• model-00003-of-00003.safetensors1.7 GB
• adapter_model.safetensors68.2 MB
• model-00004-of-00004.safetensors35.7 MB
• tokenizer.json3.5 MB
• vocab.json777.0 KB
• 10226_10111_000000.wav539.9 KB
• merges.txt441.8 KB
• model.safetensors.index.json84.3 KB
• README.md16.1 KB
• tokenizer_config.json5.4 KB
• chat_template.jinja4.6 KB
• config.json2.4 KB
• .eval_results/open_asr_leaderboard.yaml2.1 KB
• .gitattributes1.6 KB
• special_tokens_map.json801 B
• adapter_config.json717 B
• added_tokens.json229 B
• generation_config.json183 B
• preprocessor_config.json2 B

הרישיון

הקוד והמשקלים משוחררים תחת רישיון Apache 2.0. מותר להשתמש במודל למוצרים מסחריים, לשנות אותו, להריץ אותו בענן פרטי ולהפיץ נגזרות שלו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗