pop2piano
רץ בדפדפןsweetcocoaרישיון לא דווח2022-11-07
מעלים שיר פופ כקובץ אודיו או קישור יוטיוב, והוא מייצר ממנו עיבוד פסנתר להאזנה ולהורדה כקובץ מידי. מתאים למוזיקאים ומפיקים שמחפשים תפקיד קלידים מתוך שיר קיים.
- —הורדות בחודש
- 122לייקים
מה זה
מזינים קובץ אודיו מהמחשב או מדביקים כתובת של סרטון יוטיוב שהכלי שואב בעזרת yt-dlp. בוחרים מעבד מתוך תפריט נגלל ולוחצים על כפתור היצירה. בסיום מקבלים נגן להאזנה למיקס סטריאו, נגן להאזנה לתוצאת הפסנתר המרונדרת, ואפשרויות הורדה של קובץ MP3 וקובץ MIDI בפורמט mid.
מאחורי הקלעים רץ המודל Pop2PianoForConditionalGeneration יחד עם Pop2PianoProcessor של Hugging Face transformers. המודל מנתח את האודיו בעזרת librosa ו־pretty_midi כדי לחלץ את המבנה המוזיקלי ולתרגם אותו לרצף תווים של פסנתר. בעמוד יש דוגמה מובנית שמשתמשת בקובץ custom_song.mp3 עם המעבד composer1, כך שאפשר לראות איך נראית התוצאה בלי להעלות קובץ משלכם.
מתאים ל
- הפקת קובץ MIDI לשיר
המרת קטע שיר קיים לקובץ תווים שניתן לטעון בתוכנת עריכה כמו אבלטון או קיובייס.
- יצירת ליווי פסנתר מהיר
קבלת סקיצה של נגינת פסנתר מתוך שיר פופ מלא לצורך חזרות או הקלטת קאבר.
- האזנה לעיבוד חלופי
בדיקת האופן שבו סגנונות מעבדים שונים בתפריט מפרשים את אותו קובץ אודיו.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב BUILD_ERROR, כך שאי אפשר להשתמש בה בדפדפן כרגע. מעבר לזה, המודל מתמקד ביצירת ליווי פסנתר בלבד ולא תמלול של כלל הכלים בשיר. משיכת שירים מיוטיוב נוטה להישבר לעיתים קרובות בגלל עדכונים באתר החיצוני, ועיבודים של שירים ארוכים מדי עלולים להיכשל או להיחתך.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הכלי מוצע ללא עלות בעמוד של Hugging Face. אין צורך להזין אמצעי תשלום ואין מדרגות פרימיום. עם זאת, כרגע הוא תקול ולא ניתן להרצה.
כמה זמן לוקח לייצר את הפסנתר?
על גבי מעבד גרפי מסוג t4-small, עיבוד של שיר ממוצע אמור לקחת בין כמה שניות לחצי דקה. הזמן תלוי באורך קטע האודיו ובשאלה אם העליתם קובץ ישירות או שצריך להוריד אותו קודם מיוטיוב.
האם אפשר להריץ את הכלי במחשב האישי?
כן, הקוד מבוסס על ספריית transformers הסטנדרטית ומשתמש במודל sweetcocoa/pop2piano. אפשר להתקין את הספריות המופיעות בקוד כמו librosa ו־pretty_midi ולהריץ את התהליך בסביבת פייתון מקומית עם כרטיס מסך מתאים.
מה קורה עם הקבצים שאני מעלה?
הקבצים מעובדים על השרת שמריץ את המרחב כדי להפיק את המידי והאודיו. מכיוון שלא פורסם מסמך תנאי שימוש או רישיון, לא מומלץ להעלות חומרים רגישים שטרם שוחררו לציבור.
איך משתמשים
בוחרים בלשונית העלאת קובץ או מדביקים קישור יוטיוב ולוחצים על הורדת האודיו. אחרי שהשיר נטען בוחרים מעבד מהרשימה, ברירת המחדל היא composer1, ולוחצים על Generate. אין צורך בהתחברות או ברישום כדי לגשת לממשק.
האפליקציה מוגדרת לרוץ על חומרת t4-small, כרטיס שמסוגל לעבד קטעי אודיו קצרים תוך שניות בודדות עד חצי דקה. עם זאת, נכון לעכשיו סטטוס העמוד מוגדר כתקלת בנייה, מה שאומר שהממשק לא מגיב ואי אפשר להריץ עליו שום שיר עד שהיוצר יתקן את הקוד.
הרישיון
הרישיון של המרחב לא דווח על ידי המפתח. המשמעות היא שאין הרשאה מפורשת להשתמש בקוד, בתוצרים או במודל לצרכים מסחריים, וזכויות היוצרים על השירים שמעלים נשארות כפופות לחוק הרגיל.