Music-To-Zeroscope
רץ בדפדפןfffiloniרישיון לא דווח2023-08-03
מעלים קובץ שמע ומקבלים קטע וידאו קצר שאמור להתאים לאווירה שלו. זה מיועד ליוצרים שמחפשים המחשה ויזואלית מהירה למוזיקה שלהם בלי לכתוב פרומפטים בעצמם.
- —הורדות בחודש
- 58לייקים
מה זה
אתם מעלים קובץ מוזיקה דרך הדפדפן, והתהליך מפרק אותו לכמה שלבים נפרדים. תחילה המערכת משתמשת בכלי LP-Music-Caps כדי לחלץ תיאור טקסטואלי של המוזיקה. לאחר מכן מודל Llama 2 מקבל את התיאור הזה, מתבקש להתמקד בדמויות אנושיות, וכותב תיאור תמונה שמתאים לפרומפט ויזואלי. הפרומפט הזה נשלח למודל Zeroscope, שמייצר את סרטון הווידאו הסופי.
הממשק כולל שלוש דוגמאות מובנות להרצה מהירה: קובץ אלקטרוני, קטע פולק וקטע תזמורתי. הן מדגימות איך סגנונות שונים מנותחים לכדי תיאור ויזואלי שונה.
מתאים ל
- הפקת וידאו מקטע מוזיקלי
מעלים רצועת שמע ומקבלים סרטון קצר שמתאים לאווירה שלה ללא צורך בניסוח פרומפטים ידני.
- בדיקת דוגמאות שמע מובנות
מריצים קטעי פולק, אלקטרוני או תזמורת ששמורים מראש כדי לראות איך סגנונות שונים מומרים לווידאו.
- תרגום אווירה מוזיקלית לטקסט
הקוד מאפשר לבחון איך מודל שפה מתאר במילים תחושה של קובץ סאונד לצורך יצירה ויזואלית.
איפה זה נופל
האפליקציה לא מייצרת וידאו ישירות מהצלילים אלא עוברת דרך תחנות תרגום של טקסט, כך שפרטים מוזיקליים דקים הולכים לאיבוד בדרך. בנוסף, הסטטוס שלה מוגדר כרגע כמושהה, כך שאי אפשר להשתמש בה בפועל בעמוד הציבורי ללא שכפול לסביבה פעילה.
שאלות
נפוצות
האם אפשר להשתמש בה כרגע בדפדפן?
לא באופן מיידי. המצב שלה מוגדר כרגע כמושהה, ולכן היא לא תרוץ עד שבעל הפרויקט יפעיל אותה או שתשכפלו אותה לחשבון שלכם עם חומרה מתאימה.
איך המוזיקה הופכת לווידאו?
היא לא מומרת ישירות. קודם נוצר תיאור טקסטואלי של השמע באמצעות LP-Music-Caps, מודל Llama 2 ממיר אותו לפרומפט ויזואלי של תמונה, ורק אז Zeroscope מייצר את הווידאו.
האם אפשר להריץ את זה באופן עצמאי?
הקוד בנוי בפייתון עם ספריית Gradio וטוען שירותים חיצוניים. אפשר עקרונית להריץ את הקוד אם מגדירים גישה למודלים הדרושים ומחזיקים בחומרה גרפית מתאימה.
איך משתמשים
גוררים קובץ שמע לתיבת ההעלאה או בוחרים באחת הדוגמאות המוכנות, ולוחצים על Generate Video from Music. השרת מוגדר על חומרת A10G-large, אבל כרגע האפליקציה נמצאת במצב מושהה. המשמעות היא שלא ניתן להריץ אותה ישירות ברגע זה בלי להפעיל אותה מחדש או לשכפל את הקוד.
הרישיון
הרישיון של הפרויקט לא דווח במאגר. במצב כזה אין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ומומלץ להתייחס אליו כפרויקט להדגמה ולניסוי בלבד.