whisperkit-coreml

קוד פתוח

argmaxincmit2024-02-28

whisperkit
coreml
whisper
asr
quantized

הפרויקט הזה מביא תמלול קולי ישירות לחומרת אפל, בלי תלות בשרת חיצוני. הוא מיועד למי שבונה אפליקציה ל־Mac או ל־iOS ורוצה עיבוד מקומי שמשתמש במנוע העצבי.

28.7 GBמשקל הקבצים
11,619,752הורדות בחודש
206לייקים

מה זה

מדובר במאגר שמכיל המרות שונות של וויספר לפורמט CoreML, כחלק מערכת פיתוח שמתמקדת כולה בביצועים על Apple Silicon. המטרה כאן היא לאפשר זיהוי דיבור אוטומטי על המכשיר עצמו, כשהחישובים מנותבים ישירות לחומרה הייעודית של אפל במקום לחנוק את המעבד הרגיל. ההיקף העצום של הקבצים מציג מגוון גרסאות ורמות דיוק, שמתאימות לתרחישי פיתוח שונים באקוסיסטם הזה.

בניגוד למימושים כלליים שדורשים התאמות ידניות מורכבות, הקבצים כאן נבנו מראש כדי לעבוד עם ספריית whisperkit בשפת Swift. מי שרוצה לתמלל שיחות או פקודות קוליות בתוך אפליקציית נייטיב מקבל תשתית מוכנה, בלי להסתבך עם המרות עצמאיות מתוך מודלי פייתון.

מתאים ל

תמלול מקומי בתוכנות מק
זיהוי דיבור מקומי באפליקציות שולחניות ללא חיבור רשת וללא תשלום על כל דקת שמע.
עיבוד פקודות קוליות בנייד
שילוב יכולות שמע מהירות ביישומי iOS באמצעות ניצול ישיר של המנוע העצבי במכשיר.
פרטיות מלאה בהקלטות
בניית כלים לעיבוד שיחות רגישות שחייבות להישאר פיזית על המחשב של המשתמש.

איפה זה נופל

ההורדה הכוללת שוקלת 28.7 ג'יגה־בייט ומחולקת למאות קבצים, מה שמחייב לבחור בזהירות רק את החלקים הספציפיים שנחוצים לכם ולא למשוך הכול. המודלים מוגבלים לחומרת אפל בלבד, כך שהם לא יעבדו בסביבות אחרות. בנוסף, יכולות מתקדמות יותר כמו תמלול בזמן אמת עם זיהוי דוברים ומילון מותאם אישית הושארו מחוץ לחבילה החינמית ונמצאות בגרסת הפרו המסחרית של החברה.

שאלות
נפוצות

האם חייבים להוריד את כל 28 הג'יגה כדי לעבוד?

ממש לא. המאגר מאגד גרסאות שונות של המודל, ובפועל האפליקציה שלכם צריכה למשוך רק את הקובץ הספציפי שמתאים לאיזון הדיוק והמשאבים שקבעתם.

זה יכול לעבוד על שרת לינוקס רגיל?

לא. הקבצים נבנו במיוחד עבור CoreML ונועדו לרוץ על שבבי אפל, כך שהם לא מתאימים לתשתיות ענן סטנדרטיות מבוססות חומרה אחרת.

איך מריצים

בשביל לעבוד עם זה אתם צריכים מכשיר שמריץ Apple Silicon, כלומר מחשבי מק עם שבבי M או מכשירי iOS נתמכים. בפועל משתמשים בספריית ה־Swift של הפרויקט שטוענת את המשקלים הרלוונטיים מתוך המאגר, בהתאם לגודל שבחרתם לצורך שלכם.

אם אתם צריכים לתמלל כמויות עצומות של שמע על גבי שרתי לינוקס, או במכשירים ישנים ללא מאיץ גרפי ייעודי, אין לכם מה לחפש כאן. במקרים כאלה, או כשאין לכם רצון לתחזק אפליקציית קצה, עדיף להשתמש ב־API ענן רגיל ולחסוך את משאבי המכשיר.

pip install -U huggingface_hub
hf download argmaxinc/whisperkit-coreml

הקבצים

550 קבצים במאגר, 28.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, מה שאומר שיש לכם חופש מלא להשתמש בקבצים, לשנות אותם ולשלב אותם במוצר מסחרי. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של היוצרים המקוריים בתוך הפרויקט שלכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗