Music-To-Lyrics
רץ בדפדפןfffiloniרישיון לא דווח2023-08-03
מעלים קובץ שמע של שיר ומקבלים את מילות השיר בטקסט יחד עם ערוץ שירה מבודד. הכלי מתאים למי שרוצה לתמלל שירים בלי להתעסק עם פקודות קוד.
- —הורדות בחודש
- 43לייקים
מה זה
אתם מעלים קובץ שמע לתוך הממשק, ולוחצים על הכפתור להפקה. בצד הפלט מקבלים שני דברים שונים לגמרי: תיבת טקסט עם המילים שחולצו מתוך השיר, ונגן שמע שמכיל רק את ערוץ השירה המבודד, בלי כלי הנגינה שליוו אותו ברקע.
מתחת למכסה המנוע רץ תהליך של פיצול ערוצי קול, ולאחריו המודל openai/whisper-large-v3-turbo מתמלל את השירה שבודדה. השילוב הזה נותן ל־Whisper לעבוד ישירות על הקול הנקי במקום להיאבק במוזיקה רועשת, מה שמקטין הזיות בתמלול. אין בממשק דוגמאות מובנות להאזנה, כך שחייבים להעלות קובץ עצמאי כדי לבדוק את התוצאה.
מתאים ל
- חילוץ מילים משירים
הופך שיר מוקלט לטקסט כתוב כדי לגלות מילים לא ברורות.
- בידוד ערוץ שירה
מפיק רצועת שירה נקייה לצורך יצירת רמיקס או דגימות קול.
- תמלול מהיר בדפדפן
בודק שירים מזדמנים בלי להתקין ספריות פייתון או כלים מקומיים.
איפה זה נופל
אם הזמר בולע מילים או שר עם אפקטים כבדים, ערוץ השירה המבודד יצא מקוטע והתמלול יכיל שגיאות. האפליקציה לא מציגה חותמות זמן לצד המילים, ולא מאפשרת להוריד קובץ כתוביות מסונכרן. מעבר לכך, חומרת t4-small עלולה להיחנק בקבצים ארוכים מאוד, ואין כאן שום אפשרות לתקן ידנית את הטקסט או לבחור מודל תמלול אחר.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הממשק פתוח לשימוש חופשי בדפדפן. אתם רק צריכים להמתין שהשרת יתעורר ממצב שינה.
מה קורה לקבצי השמע שמעלים?
הקבצים מעובדים על שרת האפליקציה לצורך הפקת הקול והמילים. הם לא נשמרים במאגר ציבורי קבוע, אך התעבורה עוברת בשרת מרוחק.
במה זה שונה משימוש ישיר ב־Whisper?
האפליקציה מפרידה קודם את השירה מתוך המוזיקה ורק אז שולחת אותה לתמלול. הרצה ישירה של Whisper על שיר מלא בדרך כלל נכשלת בגלל כלי הנגינה.
אפשר להריץ את זה על המחשב האישי?
כן, הקוד כתוב בפייתון עם ספריות Transformers ו־Gradio. אפשר להוריד את הקבצים ולהריץ מקומית עם מעבד גרפי תואם.
איך משתמשים
גוררים קובץ שמע לשדה הקלט ולוחצים על Get Lyrics. מכיוון שהאפליקציה נמצאת במצב שינה, הטעינה הראשונית דורשת המתנה של דקה או שתיים עד שהשרת מתעורר ומוריד את המשקלים של המודל לזיכרון.
העיבוד עצמו רץ על מעבד גרפי t4-small. הפיצול של ערוצי המוזיקה והתמלול באמצעות Whisper לוקחים בדרך כלל בין חצי דקה לדקה לשיר שלם, בהתאם לאורך הקובץ שהעליתם. לא צריך לפתוח חשבון או להתחבר כדי להשתמש בממשק.
הרישיון
היוצר לא פרסם רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה להעתיק את הקוד או לבנות עליו שירות מסחרי, אם כי המודל של Whisper עצמו מופץ ברישיון פתוח של OpenAI.