text-to-music
קוד פתוחsander-woodmit2022-11-21
הכלי מייצר תווים בפורמט טקסט מתוך תיאור מילולי באנגלית. הוא מתאים למי שרוצה להפיק קטעי סולו קצרים ומובנים בלי להסתבך עם קובצי אודיו כבדים.
- 1,024טוקנים בהקשר
- 535 MBמשקל הקבצים
- 384הורדות בחודש
- 151לייקים
מה זה
מדובר בהתאמה של BART-base שאומנה על 282,870 צמדים של טקסט ותווים. במקום לנסות לייצר גלי קול או קובצי אודיו, הוא פולט תווים בפורמט ABC notation, שזה ייצוג טקסטואלי פשוט של מוזיקה. הגישה הזו הופכת אותו לראשון מסוגו שמייצר מוזיקה סימבולית ישירות מטקסט ללא חוקים שנכתבו ידנית.
התוצרים שלו מוגבלים לחמשה בודדת, כלומר קו מלודי אחד שמתאים לכלי סולו או שירה. הוא מכיר סגנונות כמו בלוז, מוזיקה קלאסית, פולק, ג'אז ופופ. אם אתם מחפשים עיבודים לתזמורת שלמה או הפקות מורכבות, זה לא הכיוון, אבל למלודיות בסיסיות הוא מספק נקודת התחלה נוחה לעבודה.
מתאים ל
- יצירת קווי מלודיה לסולו
מפיק תווים לחמשה בודדת בפורמט טקסט לפי הגדרת סגנון, כמו ג'אז או פולק.
- בניית סקיצות לכתיבת שירים
מאפשר לקבל רעיון מלודי ראשוני מתוך תיאור קצר, לפני עיבוד מוזיקלי מעמיק.
- שילוב תווים באפליקציות
משתלב בקלות במערכות מקומיות בזכות גודל קובץ קטן ופורמט טקסטואלי נוח.
איפה זה נופל
היוצרים מציינים במפורש שהיצירתיות שלו מוגבלת, והוא מתקשה במשימות שדורשות מעוף כמו העברת סגנון של מלודיה קיימת. בנוסף, הוא רגיש מאוד לניסוח הטקסט שתזינו לו, כך ששינוי קטן בפרומפט עלול לשנות לגמרי את התוצאה או להרוס אותה. התוצר מוגבל לחמשה אחת בלבד, וכל הממשק והאימון נשענים על אנגלית, כך שאין טעם להזין לו תיאורים בעברית.
שאלות
נפוצות
האם הפלט של המודל הוא קובץ שמע שניתן לשמוע מיד?
לא, הפלט הוא טקסט בפורמט ABC notation. כדי להאזין לצלילים או לראות דף תווים אמיתי, צריך להעביר את הטקסט הזה דרך תוכנה ייעודית כמו EasyABC או ממירים ברשת.
האם אפשר לתאר את המוזיקה המבוקשת בעברית?
הוא אומן רק על צמדים של טקסט באנגלית מול תווים, ולכן תיאורים בעברית לא יעבדו כראוי. מומלץ להשתמש בתיאורים קצרים ומדויקים באנגלית שמפרטים סגנון וכלי נגינה.
איך מריצים
המשקל הכולל של הקבצים עומד על 535 מגה בייט בלבד, כך שלא צריך שרת מיוחד בשביל להריץ אותו. כל מעבד מודרני ממוצע או כרטיס מסך בסיסי יריצו אותו מקומית בלי מאמץ דרך ספריית transformers הרגילה בפייתון.
בגודל כזה אין שום סיבה לחפש ספק חיצוני או לשלם על קריאות שרת. אתם פשוט מורידים את המשקלים, מריצים אינפרנס מקומי, ומקבלים מחרוזת טקסט שאותה אפשר להמיר לתווים גרפיים או לצליל בעזרת כלים חיצוניים.
from transformers import pipeline
pipe = pipeline("text-generation", model="sander-wood/text-to-music")
print(pipe("שלום"))הקבצים
7 קבצים במאגר, 535 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט משוחרר תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו בקוד סגור, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש