whisper-large-v3-turbo-gguf

מה זה

מדובר בהתאמה מבוססת GGUF למודל טורבו של וויספר. הבסיס הוא אותו מודל מוכר שאומן על יותר מחמישה מיליון שעות שמע, אבל כאן לקחו את הארכיטקטורה וקיצצו את שכבות הפענוח מ־32 ל־4 בלבד. בזכות המהלך הזה מקבלים מודל עם 809 מיליון פרמטרים במקום 1550 מיליון.

הקיצוץ הזה חותך את זמני הריצה משמעותית ומשאיר ירידה קטנה מאוד באיכות התמלול. הוא תומך בעשרות שפות, כולל עברית, ומסוגל לתמלל ישירות לשפת המקור או לתרגם אודיו לאנגלית. המודל פולט גם חותמות זמן ברמת המשפט או המילה, מה שהופך אותו לשימושי מיד לעבודה עם כתוביות.

מתאים ל

• תמלול שיחות והקלטות

  הוא מציע מהירות עבודה גבוהה עם מעט שכבות פענוח, מצוין למי שמעבד שעות של פגישות ומחפש תמלול מהיר.

• הפקת כתוביות לסרטונים

  היכולת להוציא חותמות זמן ברמת המילה מאפשרת לייצר קובצי תרגום מדויקים בלי עבודת סנכרון ידנית.

• תרגום קולי לאנגלית

  הוא ממיר אודיו משפות זרות ישירות לטקסט באנגלית במעבר אחד, בלי צורך לחבר שני מודלים נפרדים.

איפה זה נופל

האימון נעשה על דאטה רועש ברשת, ולכן המודל נוטה להזיות כשהאודיו כולל שקט ארוך או רעשי רקע כבדים. בגלל המבנה שלו הוא עלול לפעמים להיתקע בלולאות של חזרות על אותו משפט, וצריך להגדיר לו ספי שקט וטמפרטורה כדי למנוע את זה. בנוסף, הביצועים שלו בעברית ובשפות עם מעט מידע נמוכים בהרבה מאשר באנגלית, ואי אפשר להסתמך עליו כמערכת לזיהוי דוברים או לקבלת החלטות קריטיות בלי עין אנושית.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.6 ג'יגה בייט בפורמט float16, כך שאין צורך במפלצת חומרה כדי להתחיל לעבוד. כרטיס מסך מודרני עם שמונה ג'יגה זיכרון יחזיק אותו בקלות, ואפשר לעבוד גם על מעבד רגיל עם ספריות שתומכות בקובצי GGUF אם לא לחוצים על מהירות שיא.

הריצה נתמכת ישירות דרך פייפליין סטנדרטי של טרנספורמרס, עם אפשרות לחלוקה למקטעים של 30 שניות עבור קבצים ארוכים. אם יש לכם GPU שתומך בפלאש אטנשן או בהידור מבוסס פייטרוץ', אפשר להגיע למהירות גבוהה פי ארבעה וחצי, מה שהופך את ההרצה העצמית למשתלמת מאוד מול עלויות של שירותי ענן.

ollama run hf.co/xkeyC/whisper-large-v3-turbo-gguf:model_q4_k

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model_gpu_fp16.onnx1.8 GB
• model_q4_1.gguf525.8 MB
• model_q4_k.gguf475.6 MB
• tokenizer.json2.8 MB
• vocab.json1.1 MB
• merges.txt543.9 KB
• tokenizer_config.json295.8 KB
• normalizer.json54.4 KB
• added_tokens.json36.3 KB
• README.md21.7 KB
• generation_config.json4.0 KB
• special_tokens_map.json2.3 KB
• .gitattributes1.8 KB
• config.json1.3 KB
• preprocessor_config.json354 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו מחדש ולשלב אותו בתוך מוצר סגור בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗