whisperfile

קוד פתוח

Mozillaapache-2.02024-08-19

llamafile

הפצה עצמאית של מודלי התמלול מבית אופנאיי, שנארזה כקובץ הרצה יחיד שעובד מקומית בלי תלויות. אתם מורידים קובץ אחד ומקבלים תמלול אודיו שעובד ישירות מהטרמינל או כשרת מקומי.

10.8 GBמשקל הקבצים
7,796הורדות בחודש
256לייקים

מה זה

הפרויקט הזה לוקח את משקלי המודלים המקוריים של אופנאיי, שקוונטטו בפרויקט whisper.cpp, ואורז אותם בטכנולוגיית llamafile של מוזילה. המטרה היא להריץ מודלים לזיהוי דיבור ישירות על חומרת הקצה שלכם בלי להסתבך עם סביבות פייתון, מנהלי חבילות או דרייברים מורכבים. קובץ ההרצה רץ על מגוון מערכות הפעלה כולל לינוקס, ווינדוז, מקוס ומערכות BSD שונות, על גבי מעבדי AMD64 וארכיטקטורת ARM64.

הוא מקבל קובצי אודיו בפורמטים נפוצים כמו wav, mp3, ogg ו־flac, ומחלץ מהם תמליל ישירות לשורת הפקודה. יש לו גם שרת HTTP מובנה שמאפשר לשלוח בקשות תמלול דרך הרשת המקומית, יחד עם תמיכה בהדפסת רמות ביטחון בצבע עבור המילים שתומללו.

מתאים ל

שרת תמלול מקומי ומבודד
הרצה מקומית בתוך רשת סגורה דרך שרת ה־HTTP המובנה, ללא שליחת אודיו החוצה.
תמלול אודיו מהטרמינל
פקודה ישירה לעיבוד קובצי mp3 או wav על המחשב בלי תלות בסביבות פייתון.
הטמעה בכלי פיתוח פנימיים
קובץ הרצה בינארי יחיד שקל להפיץ למפתחים אחרים על מקוס או לינוקס.

איפה זה נופל

אם אתם מורידים את הדגמים שאינם מדיום או לארג, האצת הגרפיקה דורשת הידור עצמי מקומי והתקנת סביבות פיתוח כבדות כמו CUDA או ROCm v6.1 בווינדוז ובלינוקס, מה שמסרבל מאוד הטמעה פשוטה. בנוסף, ספריית ברירת המחדל tinyBLAS בכרטיסי אנבידיה איטית יותר מספריות סגורות, ולכן נדרשת עבודה ידנית כדי להגיע למהירות האמיתית של החומרה. הדף לא מפרט תמיכה בשפות ספציפיות בדגמים שאינם ייעודיים לאנגלית, ולכן צריך לבחון ידנית את איכות הזיהוי של שפות שאינן אנגלית.

שאלות
נפוצות

האם המודל דורש כרטיס גרפי כדי לרוץ?

לא, אפשר להריץ אותו ישירות על המעבד המרכזי בכל מערכת הפעלה נתמכת. עם זאת, כדי לקבל תמלול מהיר על קבצים ארוכים, כדאי להפעיל את תמיכת כרטיסי המסך באמצעות הדגלים הייעודיים.

מה היתרון של הפורמט הזה על פני שימוש רגיל בספריית פייתון?

אין צורך בהתקנת פייתון, חבילות חיצוניות או מנהלי תלויות במחשב שלכם. קובץ ה־llamafile מכיל את המשקלים ואת מנוע ההרצה בתוך קובץ יחיד שמריצים ישירות.

האם חייבים להתקין סביבת פיתוח של כרטיס מסך כדי לקבל האצה?

רק בחלק מהדגמים. בדגמי המדיום והלארג יש ספריות מובנות לווינדוז וללינוקס, אבל בדגמים קטנים יותר או כדי להפיק ביצועי שיא מכרטיסי אנבידיה תצטרכו להתקין את ערכת הפיתוח ולקמפל מקומית.

איך מריצים

במקום להתקין חבילות, מורידים את הקובץ המתאים, נותנים לו הרשאות ריצה ומריצים אותו ישירות מול קובץ אודיו. יש תמיכה בהאצת חומרה עבור מעבדי אפל דרך מטאל, כרטיסי אנבידיה וכרטיסי AMD. דגמי המדיום והלארג כוללים ספריות דינמיות מוכנות ללינוקס ולווינדוז, כך שהאצת הגרפיקה עובדת מהקופסה.

בדגמים קטנים יותר תצטרכו להתקין ערכות פיתוח כמו CUDA או ROCm ולהעביר דגל הידור מחדש. ברירת המחדל באנבידיה משתמשת בספריית tinyBLAS החופשית, אבל לביצועים מרביים צריך את ערכת הפיתוח של אנבידיה כדי לקמפל מול cuBLAS. אם אתם מעבדים היקפים עצומים ואין לכם שרת ייעודי עם כרטיס גרפי מתאים, עדיף להישאר עם API מרוחק בתשלום.

pip install -U huggingface_hub
hf download Mozilla/whisperfile

הקבצים

14 קבצים במאגר, 10.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי ומלא, כולל שימוש מסחרי, שינוי הקוד והפצה פנימית או מסחרית בתוך מוצרים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים וצירוף עותק של הרישיון המקורי, בלי חובת שחרור של קוד המקור שלכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗