Ichigo-llama3.1-s-instruct

מה זה

אתם בוחרים בין קלט טקסט להקלטת קול או העלאת קובץ שמע, שולחים, והמודל מחזיר תשובה בטקסט כתוב. במקום לתמלל את ההקלטה בנפרד עם כלי חיצוני ואז להעביר את הטקסט הלאה, המערכת משתמשת ברכיבים של WhisperSpeech כדי לקודד את האודיו ישירות עבור מודל השפה.

מאחורי הקלעים רץ Menlo/Ichigo-llama3.1-s-instruct-v0.3-phase-3, שהוא גרסה מאומנת של לאמה 3.1 שמבינה צליל. הממשק כולל דוגמאות מוכנות מראש מקבצים מקומיים, שחלקן מוגדרות מראש כדוגמאות טובות וחלקן כדוגמאות גרועות, כדי להראות מראש איפה הזיהוי מצליח ואיפה הוא מתקשה.

מתאים ל

• בדיקת הבנת שמע ישירה

  שליחת קבצי דיבור קצרים באנגלית כדי לבחון אם המודל מבין ניואנסים בלי תמלול מוקדם.

• השוואת איכות זיהוי

  הרצת הדוגמאות המובנות כדי לראות אילו מבטאים או רעשי רקע שוברים את העיבוד.

• בחינת ממשק מבוסס WhisperSpeech

  בדיקת אופן החיבור בין מקודד האודיו למודל השפה לצורך פיתוח מקומי דומה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה ולא עובדת כרגע ברשת. בנוסף, הפלט שתקבלו הוא טקסט בלבד ולא מענה קולי חוזר, כי החלק של יצירת האודיו מנוטרל בקוד. אין כאן שום אינדיקציה ליכולת עיבוד של עברית, ומודלים כאלה נוטים להיכשל לגמרי בשפות שאינן אנגלית.

איך משתמשים

לוחצים על כפתור ההקלטה או מעלים קובץ, ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, כך שזמן התגובה תלוי בעומס ובטעינת המודל. כרגע לא ניתן להריץ אותה בדפדפן בכלל, כי העמוד מדווח על שגיאת ריצה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, כולל התאמה ושימוש מסחרי. המידע שתעלו או תפיקו כפוף לתנאי השימוש הרגילים של השרתים שבהם הקוד מתארח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗