SongPrep
רץ בדפדפןtencentרישיון לא דווח2025-06-06
הכלי מנתח שירים מלאים, מחלק אותם למקטעי מבנה ומתמלל את המילים עם זמני התחלה וסיום מדויקים. הוא מיועד למי שצריך תמלול שירה וחלוקת קטעים בלי להפריד מראש בין פלייבק לקול.
- —הורדות בחודש
- 751לייקים
מה זה
מעלים קובץ שמע של שיר שלם ישירות דרך הדפדפן, ומקבלים תמלול של המילים עם חלוקה למבנה השיר, שכוללת זמני התחלה וסיום לכל מקטע ומשפט. הפלט מוצג בממשק בצורה מעוצבת וכולל גם רכיב שמציג נתוני ריצה טכניים.
מאחורי הקלעים רץ המודל SongPrep-7B שמבוסס על שבעה מיליארד פרמטרים. הוא נבנה כמודל קצה לקצה שאומן על מאגר מיליון השירים ומבצע את העבודה ישירות על קובץ האודיו, בלי צורך בכלים נפרדים להפרדת ערוצי שירה וכלי נגינה. המערכת מופעלת באמצעות מנוע vLLM שמאיץ את תהליך ההסקה עבור המודל.
מתאים ל
- תמלול שירים באנגלית
חילוץ מילות שיר ישירות מקובץ האודיו המקורי, בלי להשתמש בתוכנות נפרדות לניקוי המוזיקה.
- מיפוי מבנה של שיר
זיהוי מקטעי השיר וקבלת חותמות זמן מדויקות לתחילתו וסופו של כל חלק.
- סנכרון שורות לקריוקי
קבלת טקסט מחולק למשפטים עם חותמות זמן לצורך הצגת מילים מסונכרנות עם המוזיקה.
איפה זה נופל
המודל אומן ותומך באנגלית ובסינית בלבד, כך שאין טעם להעלות אליו שירים בעברית או בשפות אחרות. מעבר לכך, דיווחי המפתחים מציינים שיעור שגיאות מילים של 23.5 אחוזים ושיעור שגיאות חלוקה של 18.2 אחוזים, כך שהתמלול לא מושלם ודורש הגהה ידנית, במיוחד בשירים עם ליווי מוזיקלי כבד או קולות מעורפלים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך הדפדפן פתוחה בחינם לגמרי. לא נדרש תשלום מראש ואין צורך להזין פרטי אשראי כדי להעלות קובץ שמע ולנתח אותו.
האם הכלי עובד טוב עם שירים בעברית?
לא, המודל אומן מפורשות על אנגלית וסינית בלבד. אם תעלו שיר בעברית, הוא ינסה לתמלל אותו בהתאם לשפות שהוא מכיר או יחזיר ג׳יבריש מוחלט.
מה קורה עם קבצי האודיו שאני מעלה?
הקבצים מעובדים על שרתי ההדגמה שמריצים את הדוקר. מכיוון שלא פורסמו תנאי רישיון מסודרים, אין הבטחה לשמירה על פרטיות מלאה ולא מומלץ להעלות שירים שטרם שוחררו או חומרים רגישים.
האם אפשר להריץ את המערכת על המחשב האישי?
כן, הקוד ומשקולות המודל זמינים להורדה, וניתן להפעיל אותם באמצעות transformers או מנוע vLLM. עם זאת, מכיוון שמדובר במודל של שבעה מיליארד פרמטרים, תצטרכו כרטיס מסך חזק עם מספיק זיכרון כדי להריץ אותו מקומית.
איך משתמשים
טוענים קובץ אודיו לממשק ולוחצים על הכפתור שמפעיל את התמלול. אין צורך בהתחברות או ביצירת חשבון כדי להריץ את הבדיקה. האפליקציה פועלת על מאיץ גרפי מסוג L40S, חומרה חזקה שמבצעת את החישובים במהירות יחסית, אך זמן ההמתנה בפועל מושפע מעומס הבקשות הפעילות של משתמשים אחרים באותו רגע.
הרישיון
הרישיון של המודל והקוד לא דווח במפרט האפליקציה. כאשר הרישיון לא מוגדר בבירור, לא ניתן לדעת אם מותר להשתמש בתוצרים לצרכים מסחריים, וכל מה שמועלה לשרת עשוי להיות חשוף בהתאם למדיניות האתר.