MIDI-LLM_Llama-3.2-1B

מה זה

במקום לייצר גלי קול כמו מודלים כבדים של סאונד, המודל הזה לוקח את לאמה של מטא ומוסיף לו שכבת שיבוץ מורחבת עם חמישים וחמישה אלף טוקנים ייעודיים. הטוקנים האלה מייצגים זמני כניסה של תווים, משך הנגינה והתאמה בין כלי הנגינה לגובה הצליל לפי שיטת אן-טי-סי-פיישן. האימון שילב טקסטים מוזיקליים ממאגר מיוזיק-פייל, קובצי מידי מגיגה-מידי ואימון ייעודי על לאך-מידי מול תיאורים מילוליים של מידי-קאפס.

בבדיקות מול שמונה מאות תשעים ושש דוגמאות בדיוק המקורי, המודל השיג ציון אף-איי-די נמוך של אפס נקודה מאה שבעים ושלוש וציון קלאפ של עשרים ושתיים נקודה אחת. המספרים האלה מראים שהמידי שהוא מייצר שומר על מבנה שנשמע אמיתי ומתאים באופן יחסי לפרומפט שקיבל, גם אם יש ירידה קלה באיכות כשמריצים אותו בפורמט שמונה ביט.

מתאים ל

• יצירת בסיס מידי לעריכה

  מייצר תפקידי מקלדת, תופים או גיטרה ישירות לתוך תחנת עבודה, עם יכולת לשנות תווים ומקצבים בקלות.

• הפקת מוזיקה רקע למשחקים

  מאפשר לייצר לופים קצרים מקומית לפי סגנון ומצב רוח מוגדרים בלי להעמיס על זיכרון החומרה.

• עוזר הלחנה אינטראקטיבי

  משמש כלי להעלאת רעיונות מוזיקליים ראשוניים בעבודה מקומית מהירה ישירות מתוך הנחיות טקסט באנגלית.

איפה זה נופל

אורך הרצף באימון הוגבל לאלפיים ארבעים ושמונה טוקנים בלבד, כך שאי אפשר לצפות לקטעים מורכבים וארוכים או ליצירות שלמות מרובות כלים ומבנים. המודל תומך בפרומפטים באנגלית בלבד ויוצר מידי, לא שמע. זה אומר שאין כאן סאונד מוגמר, שירה או כלי נגינה חיים, ותצטרכו לחבר אותו למנוע סינתזה או לתוכנת הפקה כדי לשמוע משהו.

איך מריצים

בגלל גודל של כ־1.7 מיליארד פרמטרים ומשקל קבצים של 3.2 גיגה-בייט, אפשר להריץ אותו בקלות על כרטיס מסך ביתי בודד עם 8 עד 12 גיגה זיכרון גרפי, ואפילו על מחשבים ניידים מודרניים. מריצים אותו עם ספריית טרנספורמרס וקוד ההסקה ממאגר הגיטהאב של המפתחים, כשהם ממליצים על טמפרטורה 1.0, טופ-פי 0.98 ומגבלת אורך של אלפיים וארבעים ושמונה טוקנים.

אין סיבה לחפש עבורו ספק שירות חיצוני בתשלום, אלא אם אין לכם גישה למעבד גרפי בסיסי כלל. המודל קטן מספיק להרצה מקומית מלאה.

from transformers import pipeline

pipe = pipeline("text-to-audio", model="slseanwu/MIDI-LLM_Llama-3.2-1B")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 3.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.4 GB
• tokenizer.json18.2 MB
• tokenizer_config.json10.4 MB
• README.md3.9 KB
• .gitattributes1.6 KB
• config.json992 B
• special_tokens_map.json300 B
• generation_config.json218 B

הרישיון

הרישיון הוא רישיון הקהילה של לאמה 3.2. השימוש מותר למטרות מחקר ומסחריות, כל עוד מספר המשתמשים הפעילים בחודש אינו עולה על שבע מאות מיליון, ותחת מגבלות השימוש ההוגן והפוליסות של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗