parakeet-cpp-gguf

קוד פתוח

mudlercc-by-4.02026-05-29

parakeet.cpp
gguf
automatic-speech-recognition
asr
parakeet

הפרויקט הזה מביא את מודלי התמלול Parakeet של אנבידיה לפורמט GGUF, כך שתוכלו להריץ תמלול דיבור מדויק ישירות על המעבד בלי לגעת בפייתון או בשרתים חיצוניים.

50.9 GBמשקל הקבצים
24,929הורדות בחודש
66לייקים

מה זה

מדובר בהמרה של ארכיטקטורות התמלול מסדרת Parakeet של אנבידיה, המבוססות על FastConformer, לשימוש בתוך מנוע C++ מבוסס ggml. המאגר מכיל עשרות גרסאות של משקלים, החל מדגמים קטנים של 110 מיליון פרמטרים ועד דגמים מלאים של 1.1 מיליארד פרמטרים, במגוון ארכיטקטורות כמו CTC, RNNT ו־TDT.

הייחוד כאן הוא היכולת לחסוך בהרצת סביבת PyTorch כבדה עבור זיהוי דיבור. בבדיקות ההשוואה מול NeMo המקורי על קובץ בדיקה קצר באנגלית, גרסאות ה־F16, ה־Q8 וגם חלק מגרסאות ה־Q4 הציגו שגיאת מילים של אפס. המשמעות היא שההסבה למנוע C++ מפיקה בדיוק את אותו הטקסט שמפיק המודל המקורי, תוך שימוש בפחות זיכרון ובמהירות גבוהה על מעבדים מודרניים.

מתאים ל

תמלול מקומי ללא שרת
מאפשר לבצע תמלול אודיו באנגלית על המחשב המקומי ישירות מקוד סי ללא תלות ברשת.
זיהוי דיבור בזמן אמת
דגם ה־realtime_eou_120m מיועד לתמלול מהיר תוך כדי הזרמת שמע עם שיהוי נמוך על המעבד.
הטמעה במערכות הפצה קלות
משקלי GGUF מכווצים מאפשרים להכניס מודל קול מתקדם ליישום קצה ללא התקנת PyTorch.

איפה זה נופל

הנתונים והבדיקות במאגר מתייחסים ספציפית לקובץ אודיו קצר באנגלית, ולכן המודלים האלה לא רלוונטיים לתמלול שיחות בעברית. בנוסף, רוב גרסאות ה־Quantization בטבלאות, בעיקר Q6, Q5 ורובן של Q4, לא נמדדו כלל מבחינת דיוק, כך שלא ידוע כמה שגיאות הן יוצרות בפועל בהשוואה למקור.

הבדיקה המדווחת נעשתה על קובץ יחיד של 7.4 שניות מתוך LibriSpeech. זה רחוק מלשקף ביצועים אמיתיים בעולם עם רעשי רקע, מבטאים קשים או הקלטות ארוכות ברצף.

שאלות
נפוצות

האם המודלים האלה מזהים ומתמללים עברית?

לא. הדגמים של Parakeet שמובאים כאן נבנו ואומנו לתמלול דיבור באנגלית בלבד. אם אתם צריכים לתמלל הקלטות בעברית, הם לא יתאימו לכם.

איזה קובץ כדאי להוריד מתוך הרשימה הארוכה?

ההמלצה הרשמית היא לבחור בגרסת F16 של הדגם שבו תרצו להשתמש, למשל tdt_ctc-110m-f16.gguf אם אתם רוצים קובץ קל ומהיר. גרסאות אלו מציעות את המהירות המרבית על מעבדים מודרניים ושומרות על דיוק זהה לחלוטין למודל המקורי.

איך מריצים

בשביל להריץ את זה צריך לקמפל את פרויקט parakeet.cpp בעזרת CMake ואז להפעיל את קובץ ה־CLI מול קובץ GGUF שתורידו. אין צורך להוריד את כל 50 הגיגה-בייט של המאגר, אלא מושכים רק את הקובץ המתאים לכם. הדגמים הקטנים שוקלים סביב 130 עד 270 מגה-בייט וירוצו בקלות על כל מחשב פשוט, בעוד הדגמים של 1.1 מיליארד שוקלים בין 1 ל־2.5 גיגה-בייט ודורשים מעבד חזק יותר עם כמה גיגה-בייט פנויים ב־RAM.

היוצר ממליץ על גרסאות F16, כי הן מציעות את המהירות הטובה ביותר על מעבדים שתומכים בהאצת מכפלות מטריצות בלי לאבד דיוק. שירותי API של חברות ענן עדיפים רק אם אתם לא רוצים לנהל קימפול, תלויות מקומיות או עומסי שרת בעצמכם.

ollama run hf.co/mudler/parakeet-cpp-gguf:Q6_K

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

57 קבצים במאגר, 50.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המשקלים מופצים ברישיון CC-BY-4.0 שמקורו בדגמים של אנבידיה. הרישיון מתיר שימוש מסחרי, שינוי והפצה מחדש, בתנאי שאתם נותנים קרדיט ברור ליוצרים המקוריים ומציינים אם ערכתם שינויים. זמן הריצה עצמו ב־parakeet.cpp יושב תחת רישיון MIT המתירני.

שימוש מסחרי
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗