TXT-2-IMG-2-MUSIC-2-VIDEO-w-RIFFUSION

מה זה

הרעיון פה הוא שרשור של כמה מודלים מוכרים מהגל של סוף 2022. אתם מקלידים פרומפט טקסטואלי, בוחרים סגנון מתוך רשימה שמכילה אפשרויות כמו ציור שמן, צבעי מים או סגנון סיני מסורתי, ובוחרים מנוע מוזיקה בין Riffusion לבין Mubert AI לצד אורך קטע של חמש עד עשר שניות.

מאחורי הקלעים הקוד טוען את Stable Diffusion v1.5 כדי לייצר את תמונת הקאבר. במקביל, הוא מפעיל את riffusion-model-v1 שמייצר ספקטרוגרמה של צליל מתוך טקסט, וממיר אותה לאודיו בקובץ wav באמצעות עיבוד תמונה לסאונד. בסיום התהליך moviepy תופר את התמונה והאודיו יחד לקובץ וידאו סופי.

הממשק כולל דוגמאות מובנות להרצה, תיבות טקסט שמציגות סטטוס ותרגום שפה לפרומפטים, ומציג למשתמש ארבע תוצאות שונות: את תמונת הספקטרוגרמה הגולמית, תמונת העטיפה שנוצרה, קובץ המוזיקה להאזנה והווידאו המאוחד.

מתאים ל

• הפקת קליפ סטטי קצר

  חיבור מהיר של תמונת בינה מלאכותית עם פסקול של עד עשר שניות לקובץ וידאו בודד.

• ניסוי בספקטרוגרמות סאונד

  בדיקת האופן שבו Riffusion מתרגם תיאור מילולי לתמונה שממנה מופק גל קול.

• למידת שרשור מודלים

  בחינת קוד פייתון שמחבר את ספריית diffusers יחד עם moviepy לעיבוד מדיה משולב.

איפה זה נופל

הבעיה המרכזית כרגע היא שהיישום פשוט לא עובד ונמצא בסטטוס שגיאה. מעבר לזה, הווידאו שהקוד מרכיב הוא בסך הכל תמונה סטטית אחת שמוצגת לאורך כל רצועת האודיו הקצרה, ולא אנימציה אמיתית שזזה עם המוזיקה. בנוסף, חלקי הקוד מציגים ממשק סיני בחלקו עם תלות בקריאות חיצוניות שלא תמיד נטענות.

איך משתמשים

בפועל אתם מזינים טקסט, קובעים את משך הזמן והסגנון, ולוחצים על כפתור ההפקה. היישום מוגדר לרוץ על מעבד גרפי מסוג t4-medium, אבל נכון לעכשיו הוא נמצא במצב של שגיאת ריצה בעלייה, מה שאומר שאי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד.

הרישיון

הפרויקט פורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה מחדש, כולל שימוש מסחרי. עם זאת, המודלים עצמם כפופים לתנאי השימוש של יוצריהם, ולכן כל שימוש בפלטים של המערכת דורש התאמה גם להגבלות של Runway ושל יוצרי Riffusion.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗