fish-agent

מה זה

אתם מדברים לתוך המיקרופון או מקלידים טקסט, ומקבלים בחזרה תשובה קולית יחד עם תצוגת צ'אט רגילה. הממשק מאפשר להגדיר גם הודעת מערכת בטקסט או בקול, כך שאפשר לכוון את הטון או את התפקיד של הסוכן לפני שמתחילים לדבר איתו. ברירת המחדל בתיבת הטקסט מציעה לבקש ממנו להציג את עצמו בקצרה, כך שלא צריך לחשוב מאיפה להתחיל.

מאחורי הקלעים רץ שילוב של סוכן השיחה הקולי fish-agent-v0.1-3b יחד עם מנוע הדיבור fish-speech-1.4. במקום לפרק את התהליך לזיהוי דיבור, עיבוד טקסט והקראה מסורתית, המערך הזה בנוי כסוכן מקצה לקצה שמטפל ישירות באותות אודיו וטקסט. הממשק עצמו נשען על ספריית Gradio וטוען את המשקלים של המודלים ישירות מתוך Hugging Face בעת ההפעלה.

מתאים ל

• הדגמת שיחה קולית רציפה

  בדיקת היכולת של מודל שפה לעבד קלט דיבור ולהחזיר אודיו ישיר במקום טקסט יבש.

• הגדרת סוכן קולי מותאם

  בחינת תגובות הסוכן לפי הנחיות מערכת קוליות או כתובות מראש.

• ניסוי בממשקי אודיו מקצה לקצה

  למידה איך לחבר רכיבי דיבור וסוכני שפה בתוך יישום Gradio פשוט.

איפה זה נופל

החיסרון המרכזי והמיידי הוא שההדגמה שבורה כרגע ולא רצה בגלל שגיאת הגדרה. מעבר לכך, אין כאן התאמה מוכחת לעברית, ומודלים כאלה נוטים להתקשות מאוד או להישבר כשפונים אליהם בשפות שאינן אנגלית או סינית. אם אתם מכניסים קובץ בפורמט לא נתמך או שולחים פנייה ריקה, הקוד פשוט יזרוק שגיאה ולא ינסה לתקן את הקלט בעצמו.

איך משתמשים

לוחצים על כפתור ההקלטה או כותבים שאלה בתיבה, ולוחצים על Send. המערכת מוקצית על חומרת zero-a10g, מה שאמור לתת זמני מענה מהירים ברגע שהשרת דולק, אבל יש כאן בעיה טכנית משמעותית. נכון לעכשיו העמוד מסומן במצב של שגיאת קונפיגורציה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי שהיוצרים יתקנו את ההגדרות.

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. זה אומר שמותר להשתמש, לשנות ולשתף את הקוד והמודל רק לצרכים לא מסחריים, ובכל הפצה חובה לתת קרדיט ולשמור על אותו רישיון בדיוק. שימוש מסחרי מכל סוג אסור כאן.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗