mustango — הדגמה

קוד פתוח

declare-labapache-2.02023-11-16

gradio

המרת תיאורי טקסט לקטעי מוזיקה עם שליטה במבנה המוזיקלי. מתאים למי שרוצה לייצר אודיו ישירות מהנחיות כתובות בלי ציוד הקלטה.

11.5 GBמשקל הקבצים
—הורדות בחודש
166לייקים

מה זה

אתם מקלידים פרומפט טקסטואלי בתיבת קלט של שתי שורות ומקבלים קובץ שמע להאזנה ולהורדה. הממשק כולל שני מחוונים לכיוונון התוצאה, אחד למספר צעדי הניקוי בין 100 ל־200, והשני לקביעת מידת ההיצמדות לטקסט מ־1 עד 10.

מאחורי הקלעים רץ שילוב כבד של מודלים. הקוד משתמש במודל המוזיקה של המפתחים לצד גרסאות של Stable Diffusion, מודל Flan-T5, ורכיבי DeBERTa ו־BART כדי לנתח קצב ואקורדים מהטקסט. המערכת מחברת בין עיבוד השפה לדיפוזיה קולית שמייצרת את האודיו בפועל.

מתאים ל

יצירת קטעי אודיו מטקסט
הפקת סקיצות מוזיקליות על בסיס תיאור מילולי של כלי נגינה, קצב ואקורדים.
בדיקת שליטה מוזיקלית
ניסוי עם מחווני הצעדים ומידת ההיצמדות לטקסט כדי לראות איך המודל מגיב לשינויים.
שכפול סביבת עבודה
העתקת הקוד והמבנה להרצה עצמאית בחשבון פרטי ותיקון שגיאות הבנייה.

איפה זה נופל

הבעיה המיידית היא שהמרחב פשוט שבור ולא נטען. מעבר לזה, רף הצעדים המינימלי מתחיל ב־100 צעדים ומגיע עד 200, מה שמבטיח ריצה כבדה וממושכת על כל ניסיון. העבודה נעשית באנגלית בלבד, וסביר להניח שהמודלים לא יבינו הנחיות בעברית.

שאלות
נפוצות

למה הממשק לא מגיב כשאני פותח אותו?

האפליקציה נמצאת במצב שגיאת בנייה ולא עלתה בהצלחה לשרת. עד שהמפתחים לא יתקנו את התקנת החבילות או הקוד, אי אפשר להפיק בה שמע.

האם השימוש כרוך בתשלום?

הדף עצמו פתוח בחינם. אם תרצו לשכפל את המרחב לחשבון הפרטי שלכם כדי להרים אותו מחדש, תצטרכו להקצות לו חומרה מתאימה, כמו מעבד L4, שעשויה לעלות כסף.

אפשר להריץ את זה על המחשב?

כן, הקוד מבוסס על ספריות מוכרות כמו diffusers ו־transformers ברישיון פתוח. תצטרכו להוריד את הקבצים, להתקין את התלויות ולהחזיק כרטיס מסך חזק כדי להתמודד עם כמות המודלים שהקוד טוען.

במה זה שונה מהמודל המקורי?

זו מעטפת גרפית שמחברת את מודל Mustango עם מודלים לשוניים של גוגל ופייסבוק. היא מנגישה את השליטה בפרמטרים ישירות מתיבות ומחוונים במקום משורת פקודה.

איך מריצים

כרגע אי אפשר להריץ את ההדגמה בדפדפן כי היא נמצאת במצב של שגיאת בנייה. אם היא הייתה פעילה, השימוש היה פשוט מקלידים תיאור, מכוונים את שני המחוונים ולוחצים להפקה. לפי הקוד היא מוגדרת לרוץ על מעבד גרפי יחיד מסוג L4, והיא כוללת כפתור לשכפול המרחב לשימוש פרטי.

pip install -U huggingface_hub
hf download declare-lab/mustango

הקבצים

13 קבצים במאגר, 11.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הקוד. אין בממשק הצהרה על שמירת זכויות בתוכן שאתם מקלידים או מייצרים, אך קחו בחשבון שמדובר בסביבה ציבורית פתוחה.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗