Llama3.1-s-v0.2

מה זה

אתם בוחרים בין הזנת טקסט להעלאת קובץ קול. אם כותבים טקסט, אפשר לייצר ממנו אודיו סינתטי, ואת האודיו שנוצר או שהעליתם שולחים אל המודל. יש שני כפתורי פעולה עיקריים: שיחה עם המודל על בסיס השמע, או בקשה ישירה לתמלל את מה שנאמר בקובץ. הפלט מתקבל כטקסט.

מאחורי הקלעים רצה שרשרת כלים כבדה. המודל המרכזי הוא Menlo/llama3-s-instruct-v0.2, כשלצידו פועלים רכיבים מבית WhisperSpeech, מודל הזיהוי הקולי pyannote, ומודלים נוספים כמו MusicGen ו־vocos. הממשק מכיל גם דוגמאות מובנות שמחולקות לקבצים מוצלחים וקבצים בעייתיים, כך שאפשר לראות מראש איפה הזיהוי עובד טוב ואיפה הוא נוטה להתבלבל.

מתאים ל

• בדיקת יכולות שמע בלאמה

  הערכה מעשית של האופן שבו גרסת ה־S של לאמה מבינה פקודות קוליות ישירות ללא תמלול חיצוני מקדים.

• תמלול הקלטות קצרות

  העלאת קובץ קול ולחיצה על כפתור התמלול כדי לחלץ את הטקסט ישירות מהמודל.

• בדיקת דוגמאות קצה

  הרצת הדוגמאות הבעייתיות המובנות כדי להבין מתי המודל נכשל ומה גבולות הדיוק שלו בעיבוד אודיו.

איפה זה נופל

זו נקודת ביקורת מוקדמת מאוגוסט 2024 ולא מוצר מוגמר. העובדה שהמפתחים שמו בממשק תיקיית דוגמאות גרועות מראה שהמודל מתקשה בהקלטות מסוימות, ברעשי רקע או בדיבור לא ברור. בנוסף, הממשק מחזיר טקסט בלבד ולא תשובה קולית מדוברת, והוא בנוי על מודלים באנגלית כך שאין מה לבנות עליו לעברית.

איך משתמשים

נכנסים לדף, בוחרים אם להעלות קובץ אודיו או להקליד טקסט שיהפוך לשמע, ולוחצים על הכפתור המתאים לתמלול או לצ׳אט. אין צורך בהרשמה או התחברות. השרת רץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה. זה אומר שאם המערכת הייתה במנוחה תיתכן המתנה קצרה להפעלה, אבל בזמן עיבוד הריצה תהיה מהירה יחסית, אלא אם יש עומס משתמשים בו זמנית.

הרישיון

הקוד והממשק מפורסמים תחת רישיון mit, שמאפשר שימוש חופשי לחלוטין כולל שינוי והפצה. עם זאת, קובצי הקול והטקסט שתעלו עוברים דרך השרתים שמארחים את המרחב, ולכן לא מומלץ להעלות מידע רגיש או הקלטות פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗