pyannote-segmentation-3.0
קוד פתוחonnx-communitymit2024-07-12
חלוקת אודיו למקטעי דיבור ישירות בדפדפן או בסביבת Node.js. מודל הסגמנטציה של pyannote הוסב לפורמט ONNX כדי לעבוד קל ומהר עם Transformers.js בלי תלות בשרת כבד.
- 26.9 MBמשקל הקבצים
- 10,936הורדות בחודש
- 43לייקים
מה זה
מדובר בהמרה רשמית לפורמט ONNX של מודל הסגמנטציה pyannote-segmentation-3.0, שפותח במקור לפייתורץ'. המטרה כאן היא לאפשר זיהוי מקטעי קול ודיבור באודיו בתוך סביבות ג'אווהסקריפט, בדגש על הדפדפן דרך transformers.js v3. המודל שוקל כ־27 מגה בייט בסך הכול, נפח זעיר שמאפשר להוריד אותו ישירות לקליינט בלי להעמיס על רוחב הפס.
בניגוד לגרסת הפייתון המקורית שדורשת התקנה של ספריות שמע כבדות, המבנה הזה מחלק את האות לחלונות זמן ופולט לוגיטים לכל פריים. הכרטיס לא מציג תוצאות מדידה מספריות או מדדי דיוק, אלא מתמקד בצד הטכני של החלפת התלויות וההפשטה של תהליך הייצוא ממשקלי המקור.
מתאים ל
- חיתוך דיבור בדפדפן
זיהוי מקטעי קול באודיו ישירות אצל הלקוח בלי להעלות קבצים לשרת חיצוני.
- עיבוד מקדים לתמלול
סינון קטעי שקט לפני ששולחים קטעי אודיו למודל תמלול כבד יותר.
- יישומי אודיו ב־Node.js
שילוב סגמנטציה בשירותי ג'אווהסקריפט קלים בלי להרים סביבת פייתון ייעודית.
איפה זה נופל
הכרטיס מציג רק את תהליך ההמרה ולא מספק שום מידע על פגיעה אפשרית בדיוק בעקבות המעבר ל־ONNX. אין כאן נתונים על שפות, עמידות לרעשי רקע או התמודדות עם דוברים חופפים. מעבר לכך, המפתחים עצמם מציינים שהחזקת משקלי ה־ONNX בריפו נפרד היא פתרון זמני עד שתחום ה־WebML יתייצב, מה שאומר שמבנה הקבצים עשוי להשתנות בעתיד. חובה לבדוק אותו עצמאית על הקלטות אמיתיות לפני שסומכים על החלוקה שלו.
שאלות
נפוצות
האם המודל כולל זיהוי דוברים מלא?
לא. מדובר במודל סגמנטציה בלבד, כלומר הוא מאתר מתי יש דיבור באודיו ומחלק אותו למקטעים, אך לא מקשר בין המקטעים לאנשים ספציפיים.
צריך לשלם על שימוש במודל?
המודל מופץ תחת רישיון MIT וזמין להורדה חופשית. אין תשלום על רישוי, אבל תצטרכו לדאוג לתשתיות הריצה בעצמכם אם אתם מריצים אותו בצד השרת.
איך מריצים
טוענים את הקבצים ישירות דרך ספריית transformers.js בגרסה 3. אין פה צורך בחומרה מיוחדת או בכרטיסי מסך יקרים, המשקל הכולל הוא 26.9 מגה בייט והוא רץ בלי בעיה על מעבד של לפטופ רגיל או על מנוע ה־JavaScript בדפדפן של המשתמש.
אם אתם בונים שירות צד שרת שצריך לנתח אלפי שעות במקביל, כנראה שעדיף להישאר בפייתון המקורי עם תמיכה מסודרת של האצת חומרה. אבל בשביל עיבוד מקומי בקליינט, בלי לחשוף שום פיסת אודיו לרשת ובלי לשלם על קריאות API, זו הדרך הכי פשוטה שיש.
pip install -U huggingface_hub hf download onnx-community/pyannote-segmentation-3.0
הקבצים
12 קבצים במאגר, 26.9 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו, להפיץ אותו ולשלב אותו במוצר סגור. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים וכתב הוויתור על האחריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש