audio-diffusion

מה זה

התהליך מתבסס על המרת קול לתמונות ספקטרוגרמת מל ובחזרה. המודל מייצר תמונת תדרים חדשה מרעש אקראי בעזרת ספריית diffusers, והמערכת ממירה אותה חזרה לקובץ סאונד בסיסי שמתנגן ברצף.

בממשק הנוכחי לא מעלים קבצים משלכם. אתם בוחרים מודל מתוך תפריט נגלל, והוא פולט תמונת מל שחור לבן ברזולוציית 256, נגן שמע לקטע הבודד ונגן נפרד ללופ שחוזר על עצמו. בין המודלים שמוגדרים בקוד יש גרסאות שאומנו על היפ הופ אינסטרומנטלי, דגימות ברייקס מאתרים כמו WhoSampled ויוטיוב, או פלייליסט ספוטיפיי אישי.

מתאים ל

• יצירת לופים לביטים

  מפיקים יכולים לחלץ מקטעי סאונד קצרים בסגנון היפ הופ או ברייקס ולהשתמש בהם כחומרי גלם להמשך עיבוד.

• בדיקת סינתזה מבוססת תמונה

  חוקרי סאונד יכולים לראות את תמונת הספקטרוגרמה שנוצרת במקביל לשמע ולהבין איך מודל תמונה מתרגם לתדרים.

• אימון מודל אישי מקומית

  מפתחים יכולים להוריד את הקוד, להזין תיקיית שמע משלהם ולהוציא מודל דיפוזיה שמאומן על הסגנון שלהם.

איפה זה נופל

ההדגמה הנוכחית שבורה לחלוטין בגלל שגיאת הרצה, כך שאי אפשר להשתמש בה באתר כרגע. מעבר לכך, היא מציגה גרסה בסיסית מאוד של הפרויקט, בלי יכולות מתקדמות שקיימות בקוד כמו יצירה לפי טקסט, אינטרפולציה או שינוי של קובץ קיים.

איכות הצליל מוגבלת לקצב דגימה של 22050 הרץ ורזולוציה נמוכה יחסית, כך ששומעים ארטיפקטים צורמים ואי אפשר לצפות לקובץ ברמת הפקה מסחרית.

איך משתמשים

לוחצים על תפריט המודלים, בוחרים אחד ומפעילים את הכפתור ליצירה. בדפדפן הספציפי הזה אין צורך להתחבר או להזין מפתח, אבל כרגע האפליקציה נמצאת במצב תקלה ולא תפיק צליל.

החומרה שמוגדרת לה היא מעבד בסיסי בלבד. גם כשהיא עובדת, יצירת ספקטרוגרמות במודלי דיפוזיה על מעבד כזה אטית בהרבה לעומת מעבד גרפי ייעודי.

הרישיון

הפרויקט מופץ תחת רישיון gpl-3.0, שמחייב קוד פתוח תחת אותו רישיון אם אתם משתמשים בו בפיתוח משלכם. הרישיון לא מגדיר בעלות ישירה על קטעי האודיו שנוצרים, אבל הדאטהסטים של חלק מהמודלים נאספו מספוטיפיי ומיוטיוב, מה שעלול ליצור בעיות זכויות יוצרים בשימוש מסחרי.

הרישיון המלא ב־Hugging Face ↗