חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
D

dance-diffusion

רץ בדפדפן

harmonaimit2022-10-25

  • gradio

הכלי מייצר קטעי אודיו קצרים מתוך בחירה של מודלי דיפוזיה שונים. הוא מתאים למי שרוצה לשמוע איך נשמעים המודלים המוקדמים של הפרויקט בלי להגדיר סביבת פיתוח.

  • —הורדות בחודש
  • 111לייקים

מה זה

אין פה שדה לטקסט חופשי או לפרומפטים. הממשק מבקש מכם לבחור אחד מתוך שישה מודלים מוגדרים מראש, כמו glitch-440k, honk-140k או maestro-150k, ולקבוע את אורך הקטע בשניות בעזרת סליידר שנע בין שניה אחת לשש שניות בלבד. התוצאה היא קובץ אודיו בודד להאזנה והורדה.

מאחורי הקלעים רץ DiffusionPipeline של diffusers שמייצר גלי קול ישירות מאפס, בלי הנחיית טקסט, בהתאם לדאטה שעליו כל מודל אומן. בגלל שאין פה קלט טקסטואלי, התוצאה היא הגרלה מתוך מה שהמודל הספציפי יודע להפיק.

מתאים ל

  • דגימת סאונד קצרה

    יצירה של קטעי רעש, גליץ' או צלילים בודדים באורך של עד שש שניות לשילוב בהפקות מוזיקליות.

  • בדיקת מודלי דיפוזיה

    השוואה מהירה בין אופי הצליל של maestro, honk או glitch בלי להוריד את המשקלים למחשב.

  • בסיס לקוד מקומי

    העתקת המבנה מתוך app.py להרצה עצמאית עם diffusers על חומרה פרטית.

איפה זה נופל

נכון לעכשיו העמוד נמצא במצב של תקלת ריצה, כך שהוא פשוט לא עובד בדפדפן דרך הקישור הישיר. מעבר לזה, הממשק מוגבל לקטעים של עד שש שניות, אינו מאפשר לתת שום הנחיה או כיוון למה שייווצר, ומציג רק קומץ מודלים נקודתיים בלי שום אפשרויות עריכה.

שאלות
נפוצות

למה האפליקציה לא מייצרת סאונד כרגע?

היא מדווחת על שגיאת ריצה כללית בהוסטינג שלה. עד שמי שהעלה אותה לא יעדכן את התלויות או יאתחל את השרת, אי אפשר להפיק דרכה אודיו ישירות בדפדפן.

איך כותבים פרומפט כדי להגדיר מה לקבל?

אי אפשר. המודלים שמוגדרים בקוד הזה מייצרים סאונד בצורה עיוורת לפי המשקלים שלהם, והשליטה היחידה שיש לכם היא בחירת שם המודל ואורך הקטע.

אפשר לקחת את הקוד ולהריץ אותו על המחשב?

כן, הקוד קצר מאוד ומשתמש בספריית diffusers הסטנדרטית וברישיון MIT. תוכלו להתקין את התלויות אצלכם, לטעון את אחד מששת המודלים של harmonai וליצור את הקבצים מקומית.

איך משתמשים

נכנסים לעמוד, בוחרים מודל מתוך הרשימה הנגללת, גוררים את הסליידר לאורך הרצוי בין אחת לשש שניות ולוחצים על Submit. לפי ההגדרות הוא אמור לרוץ על כרטיס T4-medium בסיסי, אבל בפועל אין מה לבנות על יצירה מהירה בדפדפן כרגע.

הרישיון

הפרויקט מוגדר תחת רישיון MIT. זה רישיון פתוח ומתירני שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים פרטיים ומסחריים, אם כי המצב הטכני של החלל עצמו דורש תיקון לפני שאפשר להשתמש בו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗