image-to-music-v2

מה זה

אתם מעלים תמונה ובוחרים מודל מתוך הרשימה, או לוחצים על אחת מתשע הדוגמאות המוכנות, כמו ציור המונה ליזה, סנטה, או טיול שלג. המערכת שמאחורי הקלעים עובדת בשרשרת. קודם כל Kosmos-2 מנתח את התמונה ומוציא תיאור טקסטואלי.

אחר כך מודל שפה, בקוד מופיע Zephyr או Mixtral, לוקח את התיאור של התמונה ובונה ממנו הנחיה מוזיקלית מפורטת. בשלב האחרון, ההנחיה נשלחת למודל יצירת המוזיקה שבחרתם, ביניהם גרסאות שונות של MAGNeT, כדי להפיק את קובץ האודיו הסופי. הממשק מחזיר גם את נגן השמע וגם את הפרומפט שנוצר, כך שאפשר לערוך אותו ולנסות שוב.

מתאים ל

• השוואת מודלים

  בודקים איך מנועי סאונד שונים כמו גרסאות MAGNeT מגיבים לאותו תיאור ויזואלי.

• בניית רעיונות לסאונד

  מחלצים הנחיות טקסט מוזיקליות מתמונות אווירה כדי להשתמש בהן בהפקות המשך.

• התאמת פסקול לתמונה

  מייצרים דגימת אודיו קצרה שמשקפת את מצב הרוח של איור או צילום.

איפה זה נופל

הקשר בין התמונה למוזיקה עקיף לחלוטין. אם Kosmos-2 מפספס את הפרטים בתמונה, מודל השפה יבנה פרומפט לא מדויק, והמוזיקה תצא לא קשורה בלי קשר לאיכות מודל הסאונד. בנוסף, הקוד כולל שגיאות מובנות למודלים שעדיין לא מוכנים לשימוש, כך שלא כל אפשרות שתבחרו ברשימה בהכרח תעבוד. מומלץ לבדוק קודם את הפרומפט הטקסטואלי שיצא לפני שמסיקים מסקנות על איכות הצליל.

איך משתמשים

גוררים תמונה למשבצת, בוחרים מודל יצירה בתיבת הבחירה ולוחצים על הכפתור שמייצר מוזיקה. הריצה מתבצעת על חומרת zero-a10g בענן של Hugging Face, מה שנותן כוח עיבוד של כרטיס גרפי ברגע שיש בקשה פעילה. בגלל שמדובר בכמה תחנות עיבוד שרצות בזו אחר זו, ניתוח תמונה, כתיבת פרומפט והפקת סאונד, זה לוקח זמן ולא קורה מיידית. אין צורך בהתחברות כדי להתחיל.

הרישיון

הרישיון לא דווח בעמוד של המרחב. במצב כזה אין הרשאה מפורשת לשימוש מסחרי בקוד או בפלטים, והזכויות על המודלים הבסיסיים כמו MAGNeT ו־Zephyr תלויות בתנאי הרישיון המקוריים של החברות שפרסמו אותם.

הרישיון המלא ב־Hugging Face ↗