Bringing Whisper and LLaMA to the masses

הסקירה

הקוד של whisper.cpp ושל llama.cpp מריץ מודלים כבדים של בינה מלאכותית ישירות על המעבד המרכזי של המחשב שלכם, בלי שרתים חיצוניים ובלי כרטיסי מסך מפלצתיים. המפתח הבולגרי Georgi Gerganov לקח את מודל זיהוי הדיבור Whisper של OpenAI ואת מודל השפה LLaMA של Meta, ובנה להם מימוש נקי בשפות C ו־C++. הפרויקטים האלה, שזמינים להורדה חופשית בקוד פתוח תחת רישיון פתוח ב־GitHub, חותכים לחלוטין את התלות במחשוב ענן יקר ומאפשרים לתמלל קובצי אודיו, לתרגם דיבור ולהריץ מודל שפה של 65 מיליארד פרמטרים על חומרה יומיומית סטנדרטית.

מי שמחפש ממשק כפתורים פשוט לא ימצא כאן שום דבר מוכן, כי מדובר בספריות קוד שנבנו עבור מפתחים בלבד. גיאורגי גרמנוב הרכיב את llama.cpp בתוך ערב אחד של עבודה מאומצת, והקצב שבו המאגר צבר כוכבים עקף אפילו את הזינוק ההיסטורי של Stable Diffusion. ההישג המשמעותי ביותר של הפרויקט הזה הוא אופטימיזציה נמוכת דרג. הספריות נשענות על טכנולוגיות ייעודיות כמו Arm Neon במעבדי מובייל ומנצלות רכיבים פנימיים בשבבי M1 של חברת Apple, מה שמעניק מהירות גבוהה להפליא גם במחשבים ניידים פשוטים.

מנוע מקומי מול שרתי ענן

ההבדל בין הכלים האלה לבין שירותי רשת רגילים נוגע קודם כל לשליטה מוחלטת במידע שעובר עיבוד. כשאתם מריצים את whisper.cpp אתם לא שולחים הקלטות קוליות לשרתים של חברות ענק, אלא מעבדים כל קובץ מקומית במכונה שלכם. המנוע תומך בתמלול קבצים, בתרגום לשפות אחרות ובזיהוי דוברים שונים לאורך השיחה. אם אתם עובדים עם הקלטות בעברית, קחו בחשבון שהמודל המקורי של Whisper אומן על מאגר עברי קטן יחסית לשפה האנגלית, ולכן התוצאות בישראל יהיו מדויקות פחות בלי אימון ממוקד.

זה עובד מהר גם בלי GPU.

מבחינת כסף, הכלים האלה פתוחים לגמרי לשימוש ואינם גובים תשלום ברישיון קוד פתוח. אין פה מסלולי מנוי, אין הגבלת מילים ואין חיובים חודשיים בדולרים או בשקלים. עם זאת, התשלום האמיתי מתגלגל אל החומרה שלכם ואל הזמן שתשקיעו בהגדרות. הרצת מודל שפה של 65 מיליארד פרמטרים מתוך המאגר של llama.cpp תדרוש מכם כמות אדירה של זיכרון RAM במחשב, גם אחרי פעולות קוונטיזציה לצמצום המשקלים. בשביל מפתח שרוצה לשלב תמלול באפליקציה פרטית, זו הדרך הזולה ביותר שקיימת כיום.

למי זה מתאים ולמי לא

מה שבאמת מפריע כאן הוא העדר המוחלט של מעטפת נוחה למי שאינו מתכנת מקצועי. לא הייתי משתמש בזה לפרויקט משרדי שדורש הקלקה פשוטה על כפתור התחל, אלא רק אם יש לכם יכולת לקמפל קוד בטרמינל ולהתמודד עם תקלות סביבה. הכלי הזה מתאים לחברות שמעוניינות לחסוך הון בעלויות תשתית, למפתחים עצמאיים ולחוקרי בינה מלאכותית שרוצים לבחון ארכיטקטורות של מודלים גדולים בלי להקים חוות שרתים. אם אתם צריכים רק תמלול זריז לפגישה שבועית, עדיף לכם לרכוש שירות ענן מוכן.

הטרמינל לא סולח על טעויות.

מפת הדרכים שהציג גרמנוב כוללת הרחבה עתידית של תמיכה בכרטיסי GPU לצד הרצת ה־CPU הרגילה, מה שישפר משמעותית את זמני התגובה. החומרים מתוך פרק 532 של ההסכת The Changelog, שהוקלט ב־15 במרץ 2023 ופורסם ב־22 במרץ 2023 באורך 72 דקות, מבהירים שהעבודה סביב הפורטים האלה נמצאת בתנועה מתמדת של תרומות קוד מהקהילה הבינלאומית. כל התאמה כזו פותחת מחדש את השאלה איך אפשר לקחת מודלים של ענקיות טכנולוגיה ולהנגיש אותם לקהל הרחב על גבי ציוד זול.

• מחיר שימושחינם בקוד פתוח
• ממשק גרפיאין ממשק מובנה
• רישיון תוכנהקוד פתוח מלא