WavJourney

מה זה

כותבים הנחיה טקסטואלית, כמו בקשה להסבר על נושא מסוים או סצנה עלילתית, ומקבלים קובץ שמע מורכב. התוצר כולל מספר דוברים, קטעי מוזיקה שמתאימים לאווירה ואפקטים קוליים שמשתלבים ברקע לפי ההקשר.

מאחורי הקלעים מנוהל תהליך שמשלב שרשור מודלים. מודל שפה של OpenAI מפרק את הטקסט לתסריט ומחלק הוראות, מודל Bark של חברת suno מייצר את הדיבור והקולות, וכלי שיבוט קול מבית GitMylo מאפשר להתאים את הדוברים באמצעות קובצי דגימה.

המערכת מחברת בין שירותי דיבור לבין מודלים להפקת שמע כמו AudioCraft, כך שכל שכבת סאונד מופקת בנפרד ומורכבת לקובץ הסופי.

מתאים ל

• הפקת תסכיתים קצרים

  יצירת קטעי שמע עלילתיים עם מספר דמויות, דיאלוגים ומוזיקת רקע מתוך טקסט בודד.

• הסברים מומחזים ללמידה

  המרת נושאים מורכבים לשיחה קולית בין שני דוברים לצורכי הדרכה והאזנה.

• בדיקת רעיונות לסאונד

  בניית סקיצות שמע מהירות עם אפקטים קוליים לפני הפקה באולפן אמיתי.

איפה זה נופל

הבעיה המיידית היא שהמרחב בדפדפן קרס ולא פעיל. מעבר לכך, אין אפשרות לייצר שמע בלי לספק מפתח API פעיל של GPT-4, כך שאין כאן מערכת עצמאית לחלוטין. הריצה המקומית דורשת כרטיס מסך כבד ומערכת לינוקס בלבד. כמו כן, מודל Bark כבד ואיטי, כך שזמני העיבוד ארוכים מאוד ביחס לפלט קצר.

איך משתמשים

בדפדפן מזינים טקסט ומנהלים את הגדרות הקולות בממשק, אך כרגע הדף בהאגינג פייס מדווח על שגיאת ריצה (RUNTIME ERROR) כך שלא ניתן להריץ אותו ישירות שם.

מי שמתקין עצמאית מריץ שרשרת פקודות בלינוקס, מגדיר מפתח אישי של GPT-4 ומפעיל שירותי רקע. בריצה מקומית או על גבי שרת יש צורך בחומרת A10G או כרטיס עם יותר מ־16 גיגה-בייט של זיכרון גרפי, מאחר שהרצת כל המודלים במקביל דורשת משאבים רבים.

הרישיון

הפרויקט מופץ ברישיון cc-by-nc-4.0. מותר להשתמש בקוד ולשנות אותו רק לצרכים לא מסחריים, תוך מתן קרדיט ליוצרים. שימוש מסחרי בקוד או בתוצרים אסור.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗