audiogen-medium
קוד פתוחfacebookcc-by-nc-4.02023-07-26
מודל שמייצר אפקטים וצלילי סביבה לפי תיאור טקסטואלי חופשי. הוא מכוון למי שצריך מנוע מקומי לסאונד כללי ולא מחפש דווקא מוזיקה.
- 3.6 GBמשקל הקבצים
- 9,803הורדות בחודש
- 148לייקים
מה זה
מדובר במודל שפה אוטורגרסיבי עם 1.5 מיליארד פרמטרים, שלוקח טקסט והופך אותו לאודיו גולמי. הוא עובד מעל טוקנייזר של EnCodec בתדר דגימה של 16kHz, עם ארבעה ספרי קודים שנדגמים ב־50 הרץ. במקום לייצר מוזיקה מורכבת, הפוקוס פה הוא על אפקטים וסאונד כללי כמו נביחות, סירנות או צעדים.
המבנה הפנימי שואב מהארכיטקטורה של MusicGen ומריץ 50 צעדים אוטורגרסיביים לכל שנייה של אודיו שנוצרת. המשמעות בשטח היא מהירות יצירה טובה יותר מהגרסה המקורית של AudioGen, בלי לוותר על איכות התוצאה ביחס למאמר הראשון.
מתאים ל
- אפקטים קוליים לסרטונים
ייצור מהיר של צלילים כמו סירנות או צעדים לפרויקטים אישיים, לפי פרומפט מדויק.
- מחקר בתחום האודיו
בדיקת יכולות סינתזה של טקסט לסאונד על בסיס ארכיטקטורת EnCodec בקוד פתוח.
- סאונד רקע לאבטיפוס
יצירת דגימות קול לסביבות משחק לא מסחריות שדורשות צלילי סביבה פשוטים.
איפה זה נופל
המודל מוגבל לתדר דגימה של 16kHz, מה שאומר שהאיכות מיועדת לאפקטים ולסאונד רקע, ולא לפרויקטים שדורשים איכות שידור של 44.1kHz או מוזיקה עשירה. לא מפורט בכרטיס המודל באילו שפות הוא אומן מעבר לאנגלית, כך שפרומפטים בעברית כנראה לא יניבו תוצאות טובות ללא תרגום מקדים.
שאלות
נפוצות
אפשר להשתמש במודל הזה בתוך אפליקציה בתשלום?
לא. הרישיון הוא לא-מסחרי בלבד. אם יש כוונה לייצר הכנסות מהמוצר או להטמיע אותו במערכת מסחרית, אי אפשר להשתמש בו חוקית.
האם הוא יודע לייצר שירים ומנגינות מלאות?
לא, הוא אומן על צלילים כלליים ואפקטים קוליים ולא על מבנים מוזיקליים. בשביל שירים והלחנה עדיף להסתכל על MusicGen.
איך מריצים
ההרצה נעשית ישירות דרך ספריית audiocraft של פייסבוק באמצעות פייתון, ודורשת התקנה של ffmpeg ברמת מערכת ההפעלה. הקבצים שוקלים 3.6 גיגה-בייט, כך שתצטרכו כרטיס מסך עם זיכרון ייעודי סביר כדי להחזיק את המודל ולייצר דגימות בלי להיחנק.
הקוד המצורף מייצר קבצי wav מנורמלים לעוצמה של 14- db LUFS לפי אורך שניות שאתם מגדירים מראש. אם אין לכם חומרה ייעודית זמינה או שאתם לא רוצים לנהל תלויות סביבה מקומיות, הפתרון הישיר הוא למצוא שרת שמארח אותו.
pip install -U huggingface_hub hf download facebook/audiogen-medium
הקבצים
4 קבצים במאגר, 3.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחד משמעית, השימוש מותר למחקר ולצרכים אישיים בלבד, וחל איסור מוחלט לשלב אותו במוצר מסחרי, למכור שירותים סביבו או לייצר בעזרתו תוכן שמניב רווח ישיר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא