video-to-music

מה זה

מעלים קובץ וידאו ובוחרים מודל ליצירת אודיו מתוך תפריט נפתח. בצד השני מקבלים תיאור טקסטואלי של הווידאו, את פרומפט המוזיקה שנבנה ממנו, קובץ שמע בודד, וקובץ וידאו סופי שמכיל את המוזיקה המודבקת.

מאחורי הקלעים הקוד משתמש במודל Kosmos2 כדי לחלץ תיאור מתוך תמונת הווידאו. לאחר מכן מודל שפה, לפי הקוד Zephyr או Mixtral, הופך את תיאור התמונה להנחיה מוזיקלית. ההנחיה הזו נשלחת למודל מוזיקה כמו גרסאות שונות של MAGNet או מודלים נוספים שמופיעים בממשק, ולבסוף moviepy מחבר את האודיו חזרה לווידאו. בדוגמאות המוכנות יש סרטונים קצרים של צב ים, כלבים בשלג ונוף חוף מ־Big Sur.

מתאים ל

• התאמת פסקול לקליפ קצר

  יצירה מהירה של מוזיקת רקע לסרטון קצר לפי התוכן הוויזואלי שנלכד מתוכו.

• השוואת מודלים של מוזיקה

  בדיקת איכות הסאונד של מודלים שונים מאותה הנחיה שחולצה מהווידאו.

• יצירת פרומפטים מוזיקליים

  חילוץ רעיונות להנחיות טקסט של סאונד מתוך תמונות בעזרת מודל השפה.

איפה זה נופל

האפליקציה מוגדרת כרגע במצב מושהה ולא תעבוד בלחיצה פשוטה בלי הפעלה מחדש של השרת. בנוסף, הקוד כולל שגיאה מובנית עבור מודלים שאינם מוכנים עדיין, כך שלא כל האפשרויות ברשימה באמת זמינות להרצה. התהליך מתבסס על ניתוח תמונה סטטית מתוך הווידאו ולא על הבנת התנועה או הקצב לאורך זמן, מה שיכול להוביל לפס קול שלא מתאים לקצב העריכה.

איך משתמשים

גוררים וידאו לחלון ההעלאה, בוחרים מודל ברשימה ולוחצים על הכפתור להפקת המוזיקה. לאחר יצירת הפרומפט אפשר לערוך אותו וללחוץ על כפתור הרצה חוזרת. האפליקציה רצה על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, אך כרגע הסטטוס שלה מוגדר כמושהה, כך שלא ניתן להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש. הממשק אינו דורש התחברות כשהוא פעיל, אך הדוגמאות לא נשמרות מראש במטמון וזמן הריצה תלוי בתור ובעיבוד התמונה והקול.

הרישיון

הרישיון של המרחב לא דווח בקוד או בתיעוד. המשמעות היא שאין תנאי שימוש מוגדרים לתוכן שנוצר או לקוד עצמו, ומודלים שונים שמופעלים דרכו מחזיקים ברישיונות נפרדים של החברות שפרסמו אותם.

הרישיון המלא ב־Hugging Face ↗