clap-htsat-unfused
קוד פתוחlaionapache-2.02023-02-16
יש כאן גם סקירה על LAION עצמו.
חיבור ישיר בין קבצי שמע לתיאורי טקסט חופשיים בלי לאמן מסווג ייעודי מראש. מתאים למי שרוצה לחפש או לתייג קטעי קול באמצעות טקסט פשוט.
- 514טוקנים בהקשר
- 589 MBמשקל הקבצים
- 947,758הורדות בחודש
- 79לייקים
מה זה
המודל הזה ממיר קול וטקסט לאותו מרחב וקטורי, בדומה למה שקליפ עושה לתמונות. הוא אומן על מאגר LAION-Audio-630K שמכיל 633,526 צמדים של שמע ותיאורים מילוליים. המבנה שלו מבוסס על ClapModel עם 16 שכבות ומקבל טקסטים באורך של עד 514 טוקנים.
היתרון המרכזי שלו הוא יכולת עבודה מול אודיו בפורמט zero-shot. אפשר לזרוק אליו קובץ שמע וכמה תוויות טקסטואליות חופשיות, והוא מחזיר הסתברות לכל תווית בלי שנגע בדאטה שלכם באימון. החוקרים הראו במאמר ביצועים חזקים במיוחד באחזור שמע מטקסט ובסיווג ללא אימון מוקדם לעומת מודלים מקבילים.
מתאים ל
- סיווג שמע ללא אימון
מזהה אירועי קול כמו נביחות או שואב אבק לפי תוויות טקסט חופשיות בלי לגעת באימון.
- חילוץ וקטורים לקול
יוצר ייצוג מספרי מקבצי אודיו כדי לשמור אותם בבסיס נתונים וקטורי.
- חיפוש קטעי שמע בטקסט
מאפשר להקליד תיאור מילולי ולמצוא את קובץ הקול שהכי מתאים לו במאגר.
איפה זה נופל
הגרסה הזו מוגדרת כגרסת unfused, כלומר היא לא כוללת את מנגנון שילוב המאפיינים המלא שפותח במאמר לצורך טיפול באורכי שמע משתנים. מסיבה זו הוא עלול להתקשות עם קטעים ארוכים או לא עקביים. בנוסף, חלון ההקשר מוגבל ל־514 טוקנים, כך שאי אפשר להעביר תיאורי טקסט מורכבים במיוחד.
שאלות
נפוצות
כמה זיכרון דרוש כדי להריץ את המודל?
הקבצים שוקלים 589 מגה בייט בסך הכול, כך שהזיכרון הנדרש זניח. אפשר להריץ אותו על מעבד של מחשב נייד רגיל. אם מעבירים אותו לכרטיס מסך, כרטיס בסיסי עם נפח זיכרון קטן יעשה את העבודה.
איך מבצעים סיווג שמע בפועל?
טוענים את המודל דרך פייפליין לסיווג שמע בספריית transformers. מעבירים את קובץ הקול יחד עם רשימת תוויות טקסטואליות באנגלית, והוא מחזיר ציון התאמה לכל תווית.
איך מריצים
המשקל הכולל של הקבצים עומד על 589 מגה בייט בלבד, כך שלא צריך שרת כבד כדי להרים אותו. הוא רץ ישירות דרך ספריית transformers הרגילה בפייתון, ועובד בלי בעיה על מעבד רגיל עבור בדיקות או נפחי תנועה נמוכים.
אם אתם צריכים לחלץ וקטורים בקצב מהיר או לעבד קבצים ארוכים, כרטיס מסך בסיסי יספיק לחלוטין. אין סיבה אמיתית לשלם על שירות ענן חיצוני כשמשקל המודל כל כך קל להרצה עצמית על כל מכונה פשוטה.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="laion/clap-htsat-unfused")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 589 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית במוצר שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים