riffusion-demo
רץ בדפדפןanzorqרישיון לא דווח2022-12-15
הכלי מייצר קטעי שמע קצרים מטקסט בעזרת מודל תמונה שהוסב לצליל. הוא מיועד למי שרוצה לבדוק יצירת מוזיקה או מעברים בין סגנונות ישירות בדפדפן.
- —הורדות בחודש
- 55לייקים
מה זה
מקלידים תיאור טקסטואלי ראשוני של הצליל שרוצים, ואם רוצים גם תיאור סופי כדי שהמוזיקה תשתנה בהדרגה לכיוונו לאורך הזמן. בוחרים מספר צעדי דגימה מתוך טווח של 1 עד 100, קובעים את כמות המקטעים בין 2 ל־25, בוחרים סגנון קצב מוגדר מראש כמו og_beat, agile, vibes, motorway או marim, ומגדירים סיד לשחזור התוצאה.
התוצר שמתקבל הוא קובץ וידאו המציג צורת גל של הצליל שנוצר ומנגן את האודיו. מתחת למכסה המנוע רץ riffusion-model-v1, שמשתמש במודל דיפוזיה כדי לצייר ספקטרוגרמות של שמע כתמונות, ואז ממיר את התמונות האלה ישירות לקובץ אודיו בפורמט wav. יש בממשק גם דוגמאות מובנות מראש שנשמרו בזיכרון מטמון כדי להציג את היכולות בלי להמתין לעיבוד מלא.
מתאים ל
- בדיקת שילוב סגנונות
מגדירים תיאור התחלתי ותיאור סופי כדי לבדוק איך המודל מייצר מעבר הדרגתי בין שני סגנונות מוזיקליים שונים.
- הפקת דגימות קצרות
מייצרים קטעי רקע קצרים בלולאה מתוך סגנונות קצב מובנים לצורך בדיקות סאונד ראשוניות.
- הבנת טכנולוגיית ספקטרוגרמה
בוחנים כיצד מודל תמונה מייצר צליל בפועל על ידי המרת תמונות תדרים לקובצי שמע.
איפה זה נופל
נכון לעכשיו העמוד מסומן במצב של CONFIG_ERROR, מה שאומר שההדגמה הזו לא רצה בפועל ואי אפשר להשתמש בה ישירות בדפדפן עד שההגדרה תתוקן. מעבר לתקלה הזאת, מדובר בהדגמה מוקדמת שמבוססת על מודל ישן יחסית מסוף 2022, שיוצר אודיו מתמונות ספקטרוגרמה ולא מודל קול מודרני ייעודי. אי אפשר להעלות קובצי קול משלכם כדי לעבד אותם, אין כאן עריכה מתקדמת, והמעברים בין תיאורי הטקסט עשויים להישמע מקוטעים או לא טבעיים בגלל המגבלות של שיטת הדגימה הזו.
שאלות
נפוצות
האם השירות הזה עולה כסף?
לא, השימוש בדף הזה פתוח בחינם ללא תשלום וללא צורך בהזנת כרטיס אשראי. יחד עם זאת, כרגע הדף תקוע במצב של שגיאת תצורה ולכן אי אפשר להריץ בו פקודות.
כמה זמן לוקח לייצר קטע אודיו?
הזמן תלוי במספר הצעדים ובכמות המקטעים שבחרתם בסליידרים. כשיש חומרת T4 פעילה זה עניין של שניות בודדות, אבל אם היא נופלת למעבד רגיל ההמתנה מתארכת משמעותית.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד כתוב בפייתון עם ספריות diffusers ו־gradio וטוען את riffusion-model-v1 ישירות. אפשר להוריד את הקוד ולהריץ אותו על מחשב עם מעבד גרפי מתאים של Nvidia.
במה ההדגמה הזו שונה מהמודל המקורי?
ההדגמה מספקת רק ממשק משתמש בסיסי עם הגבלות קשיחות על מספר המקטעים ואפשרויות הקצב. המודל עצמו גמיש יותר ומאפשר שליטה עמוקה יותר בהגדרות ואינטגרציה לתוך תוכנות חיצוניות.
איך משתמשים
לוחצים על Generate ומחכים. הדף מוגדר לעבוד על חומרת t4-medium שמספקת כוח עיבוד גרפי, אבל המערכת מציינת במפורש שאם אין GPU זמין הריצה נופלת למעבד רגיל והעיבוד נהיה איטי בהרבה. מספר הצעדים ומספר המקטעים שבוחרים משפיעים ישירות על זמן ההמתנה. אין צורך להתחבר או להירשם כדי לנסות, ובסיום אפשר לשתף את התוצאה.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הרשאה רשמית וברורה לשימוש מסחרי בקוד או בתוצרים של ההדגמה, וכדאי לבדוק את תנאי המודל המקורי riffusion-model-v1 לפני שעושים משהו מעבר לבדיקה אישית.