granite-speech-4.1-2b

מה זה

הארכיטקטורה מחברת מקודד קול מבוסס קונפורמר עם מודל שפה של מיליארד פרמטרים ממשפחת גרניט, לסך של כמעט שניים נקודה שלושה מיליארד פרמטרים. האימון כלל מאה שבעים וארבע אלף שעות שמע ומיועד לתמלול ותרגום קולי ישיר. הוא תומך באנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית ויפנית, לצד תרגום קולי מאנגלית לאיטלקית ומנדרינית.

הייחוד כאן לעומת מערכות זיהוי דיבור קלאסיות הוא השילוב של מודל שפה שמטפל ישירות בפיסוק ואותיות גדולות לפי פרומפט, בלי צורך במודל ניקוי נפרד. במבחני פיסוק באנגלית שיעור השגיאות שלו נע סביב תשעה עד עשרים וחמישה אחוזים, ובגרמנית הוא הציג ציון דיוק של מעל תשעים ותשעה אחוזים בהתמודדות עם שמות עצם. יתרון מעשי נוסף הוא תמיכה מובנית ברשימות מונחים ספציפיים שהמשתמש מעביר בפרומפט, מה שמשפר זיהוי ראשי תיבות וסלנג טכני.

מתאים ל

• תמלול שיחות טכניות

  זיהוי שמות מוצרים ומונחים מקצועיים באנגלית בעזרת רשימות מילים ייעודיות שמועברות בפרומפט.

• תרגום קולי אוטומטי

  המרת דיבור משפות אירופיות או יפנית ישירות לטקסט מתורגם באנגלית, בלי מערכת תרגום נפרדת.

• שרת תמלול פנימי בארגון

  הרצה מקומית על כרטיס גרפי זול עם תמיכה מלאה בווי אל אל אם ושמירה על פרטיות המידע.

איפה זה נופל

עברית לא נתמכת כאן בכלל. אם תזינו שמע בעברית המודל פשוט ייכשל או ינסה למפות צלילים לשפות שהוא מכיר. הגרסה הבסיסית הזו גם לא מחזירה חותמות זמן ברמת המילה ולא מזהה איזה דובר אמר מה, תכונות קריטיות להקלטת פגישות שדורשות מעבר לגרסת הפלוס.

מפתחי המודל מציינים במפורש שחלון ההקשר עומד על ארבעת אלפים טוקנים, ושמודלים בגודל הזה מועדים להזיות כשמבקשים מהם משימות יצירתיות. במקרים של פרומפט שבור או לא מוכר המודל פשוט נופל לתמלול רגיל כדי למנוע התנהגות לא צפויה, מה שאומר שאי אפשר להסתמך עליו לפקודות שמע מורכבות מעבר להוראות הכתובות בדוקומנטציה.

איך מריצים

במשקל של ארבעה וחצי גיגה בייט, אפשר להריץ אותו בלי מאמץ על כרטיס גרפי ביתי פשוט עם שמונה גיגה זיכרון, או על מחשבי מק עם שבבי אפל באמצעות ספריית אמ אל איקס או לאמה סי פי פי בקוונטיזציה. הוא נתמך ישירות בטרנספורמרס ובווי אל אל אם, כך שקל לשלב אותו בשרת קיים לצד מודלי טקסט אחרים.

אם אתם צריכים רק תמלול נקודתי בלי שמות מסובכים או התאמות, עדיף להשתמש בממשק מנוהל חיצוני ולחסוך תחזוקת שרתים. יש למשפחה שתי גרסאות נוספות שלא כדאי להתעלם מהן, גרסת פלוס שמוסיפה זיהוי דוברים וחותמות זמן ברמת המילה, וגרסה לא אוטורגרסיבית שמיועדת לקצב עיבוד גבוה במיוחד.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="ibm-granite/granite-speech-4.1-2b")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 4.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors2.1 GB
• model-00001-of-00003.safetensors2.1 GB
• model-00003-of-00003.safetensors339.0 MB
• out_llm.safetensors205.7 MB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_spgispeech_test.jsonl15.3 MB
• tokenizer.json7.2 MB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_gigaspeech_test.jsonl6.3 MB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_ami_test.jsonl2.1 MB
• vocab.json1.6 MB
• multilingual_sample.wav1.6 MB
• merges.txt916.6 KB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_librispeech_test.other.jsonl869.6 KB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_librispeech_test.clean.jsonl851.0 KB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_earnings22_test.jsonl835.7 KB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_voxpopuli_test.jsonl717.0 KB
• .eval_results/MODEL_ibm-granite-granite-speech-4.1-2b_DATASET_hf-audio-esb-datasets-test-only-sorted_tedlium_test.jsonl414.7 KB
• model.safetensors.index.json84.4 KB
• README.md20.2 KB
• .eval_results/output.log18.2 KB
• tokenizer_config.json17.9 KB
• model.sig15.3 KB
• config.json2.3 KB
• .eval_results/open_asr_leaderboard.yaml2.1 KB
• .gitattributes1.7 KB
• special_tokens_map.json579 B
• preprocessor_config.json336 B
• chat_template.jinja193 B
• processor_config.json80 B
• added_tokens.json26 B

הרישיון

הרישיון הוא אפאצ׳י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו במוצרים פנימיים או למכור שירותים שמבוססים עליו. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי תמלוגים ובלי חובת שיתוף של הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗