Music-To-Image

מה זה

אתם מעלים קובץ אודיו, והקוד חותך ממנו את 30 השניות הראשונות. בשלב הראשון מודל LP Music Caps מנתח את המוזיקה ומייצר תיאור טקסטואלי של הצליל. אם סימנתם שיש מילים, התהליך מנסה לשלוף גם אותן.

לאחר מכן התיאור נשלח למודל Llama2, שמנסח פרומפט שמיועד לתמונה עם דגש על דמויות אנושיות. את הפרומפט הזה מקבל המודל Stable Diffusion XL 1.0, שיוצר את התמונה הסופית, ואפשר גם להפיק סרטון ויזואליזציה קצר עם השמע.

בדוגמאות המוכנות בממשק תמצאו קטעי סאונד מובנים של מוזיקה אלקטרונית, פולק ותזמורת, כולם מוגדרים ללא מילים כדי להדגים עיבוד מהיר.

מתאים ל

• עטיפה לרצועת שמע

  הפקת רעיון ויזואלי מהיר שמתאים לאווירה של קטע מוזיקלי קצר.

• סרטון ויזואליזציה

  יצירת קובץ וידאו קצר המשלב את התמונה שהופקה יחד עם קטע הסאונד.

• בדיקת תרגום סאונד

  בחינה של האופן שבו מודלים מנתחים שמע והופכים אותו לטקסט ולתמונה.

איפה זה נופל

האפליקציה חותכת כל שיר ל־30 שניות בלבד, כך שהיא מתעלמת משינויים שקורים בהמשך היצירה. האפשרות להדביק קישור מיוטיוב מושבתת בקוד. הממשק גם עלול להטעות, כיוון שאיכות התמונה תלויה בפרשנות של מודל השפה ולא רק בסאונד עצמו, והכלי כולו פשוט לא זמין כרגע להרצה.

איך משתמשים

נכון לעכשיו אי אפשר להריץ את הכלי בדפדפן כי הוא במצב מושהה. כשהוא פועל, מעלים קובץ, בוחרים אם יש מילים, לוחצים על כפתור ההפקה וממתינים. השרת מוגדר על חומרת A10G גדולה, אבל בגלל השרשור של שלושה מודלים שונים, העסק לוקח זמן.

הרישיון

היוצר לא הגדיר רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה להשתמש בחלקים מהפיתוח לפרויקטים משלכם, והמעמד המשפטי של התוכן שתעלו או תפיקו דרכו נשאר מעורפל לחלוטין.

הרישיון המלא ב־Hugging Face ↗