speaker-diarization-coreml

מה זה

מדובר בהמרה של ארכיטקטורת pyannote המוכרת לפורמט CoreML, שנועדה לזהות מי דיבר ומתי בתוך קובץ שמע. במקום להריץ מודלים כבדים בפייתון על שרתי ענן, המודל הזה מותאם במיוחד לעבודה על ה־Apple Neural Engine. הוא מקבל שמע מונו ב־16kHz ופולט מקטעי זמן עם מזהה לכל דובר. בגלל שהוא נשען על מאפיינים אקוסטיים ולא על טקסט, הוא אמור לעבוד בכל שפה, כולל עברית.

היתרון המרכזי כאן הוא ביצועים מול משאבים. לפי המדידות של המפתחים, ההמרה ל־CoreML מציגה האצה של בערך פי עשרה על המעבד ופי עשרים על המעבד הגרפי ביחס לפייתורץ׳ המקורי. הפגיעה באיכות כמעט לא קיימת, עם עלייה של כאחוז בודד במדדי השגיאה DER ו־JER, שנובעת משינויי דיוק חישובי בין הסביבות.

מתאים ל

• תמלול פגישות באפליקציית מק

  זיהוי דוברים מקומי במחשב בלי להוציא הקלטות רגישות החוצה ובלי עלויות ענן.

• הקלטות חכמות באייפון

  חלוקת שיחות מוקלטות למקטעי דוברים בזמן קצר ובניצול מינימלי של הסוללה בעזרת ה־ANE.

• סינון קול לפי דובר בטאבלט

  עיבוד אודיו מקומי באייפד שמחלק את פס הקול לדוברים שונים עבור עריכת תוכן.

איפה זה נופל

המעבר ל־CoreML גורר שינויי דיוק מספריים קלים שמייצרים טעויות קטנות בערכים, ולפי הכרטיס צריך לכוונן את שלב הקיבוץ כדי לפצות עליהן. תוספת השגיאה היא אמנם סביב אחוז בודד, אבל בהקלטות קשות עם דוברים חופפים או רעשי רקע, זה עלול להתבטא בזיהוי שגוי של החלפת דובר. בנוסף, חובה להזין לו קבצים בפורמט מונו ובדגימה של 16kHz בלבד, כך שכל קלט אחר דורש עיבוד מקדים לפני הכניסה למודל.

איך מריצים

ההרצה מיועדת באופן בלעדי לחומרה של אפל שתומכת ב־CoreML, כגון מחשבי מק עם שבבי סיליקון, אייפונים או אייפדים. המודל רץ ב־FP16 על ה־ANE או ב־FP32 על המעבד והמעבד הגרפי. ההטמעה בקוד נעשית באמצעות ערכת הפיתוח FluidAudio של היוצרים, שמשלבת את המודלים בצינור העיבוד.

אם המוצר שלכם יושב בשרת לינוקס רגיל או מיועד לאנדרואיד, אין לכם מה לחפש כאן ועדיף להישאר עם pyannote המקורי או שירות ענן. החבילה הזו שווה את המאמץ רק כשרוצים לחסוך עלויות שרתים ולהריץ פיענוח קולי ישירות בתוך אפליקציית אפל מקומית.

pip install -U huggingface_hub
hf download FluidInference/speaker-diarization-coreml

הקבצים

81 קבצים במאגר, 123 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• mlpackages/wespeaker.mlpackage/Data/com.apple.CoreML/weights/weight.bin28.7 MB
• wespeaker.mlmodelc/weights/weight.bin28.7 MB
• Embedding.mlmodelc/weights/weight.bin13.4 MB
• mlpackages/Embedding.mlpackage/Data/com.apple.CoreML/weights/weight.bin13.4 MB
• wespeaker_int8.mlmodelc/weights/weight.bin7.2 MB
• wespeaker_v2.mlmodelc/weights/weight.bin7.2 MB
• Segmentation.mlmodelc/weights/weight.bin6.0 MB
• mlpackages/pyannote_segmentation.mlpackage/Data/com.apple.CoreML/weights/weight.bin5.7 MB
• pyannote_segmentation.mlmodelc/weights/weight.bin5.7 MB
• mlpackages/Segmentation.mlpackage/Data/com.apple.CoreML/weights/weight.bin3.0 MB
• FBank.mlmodelc/weights/weight.bin1.8 MB
• mlpackages/Fbank.mlpackage/Data/com.apple.CoreML/weights/weight.bin1.8 MB
• wespeaker_int8.mlmodelc/model.mil706.9 KB
• wespeaker_v2.mlmodelc/model.mil706.9 KB
• wespeaker.mlmodelc/model.mil698.1 KB
• mlpackages/wespeaker.mlpackage/Data/com.apple.CoreML/model.mlmodel612.8 KB
• plots/latency_timeseries.png406.8 KB
• latency_timeseries.png406.4 KB
• plda_coreml.png223.4 KB
• plots/pipeline_overview.png218.6 KB
• PldaRho.mlmodelc/weights/weight.bin200.2 KB
• plots/summary_speed.png200.1 KB
• PLDA.mlmodelc/weights/weight.bin199.6 KB
• plots/metrics_timeseries.png196.0 KB
• plda_parity.png191.7 KB
• plots/plda_parity.png190.2 KB
• xvector-transform.json177.5 KB
• metrics_timeseries.png161.5 KB
• pipeline_overview.png150.4 KB
• pipeline_mps_timing.png120.9 KB
• plots/pipeline_mps_timing.png120.9 KB
• plots/pipeline_timing.png107.8 KB
• mlpackages/PldaRho.mlpackage/Data/com.apple.CoreML/weights/weight.bin100.4 KB
• plda-parameters.json89.4 KB
• Embedding.mlmodelc/model.mil78.4 KB
• mlpackages/Embedding.mlpackage/Data/com.apple.CoreML/model.mlmodel65.8 KB
• Segmentation.mlmodelc/model.mil43.1 KB
• mlpackages/Segmentation.mlpackage/Data/com.apple.CoreML/model.mlmodel38.8 KB
• pyannote_segmentation.mlmodelc/model.mil29.5 KB
• mlpackages/pyannote_segmentation.mlpackage/Data/com.apple.CoreML/model.mlmodel24.0 KB

הרישיון

המודל מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי שאתם נותנים קרדיט הולם ליוצרים המקוריים ומציינים אם נעשו שינויים. שימו לב שבעוד שערכת הפיתוח FluidAudio מופצת תחת Apache 2.0, משקולות המודל עצמן כפופות לדרישות הייחוס של Creative Commons.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗