larger_clap_general
קוד פתוחlaionapache-2.02023-10-30
יש כאן גם סקירה על LAION עצמו.
הכלי מחבר בין שמע לטקסט באותו מרחב וקטורי. הוא מאפשר לסווג קולות, מוזיקה ודיבור לפי תיאור מילולי חופשי, בלי לאמן מודל ייעודי לכל צליל.
- 744 MBמשקל הקבצים
- 333,969הורדות בחודש
- 53לייקים
- 16שכבות
מה זה
הרעיון פה מקביל למה שקליפ עשה לתמונות, אבל על גלי קול. המבנה הפנימי משלב מודל רוברטה לטקסט עם סווין טרנספורמר שמנתח ספקטרוגרמות של אודיו, ושניהם מוציאים וקטורים באותו ממד בדיוק. חישוב מכפלה סקלרית פשוטה בין וקטור של צליל לווקטור של משפט נותן ציון התאמה ישיר.
הגרסה הזו אומנה ספציפית על תערובת של סאונד כללי, מוזיקה ודיבור אנושי, כך שהיא לא נעולה רק על זיהוי רעשי רקע או רק על שירים. היא מיועדת לחילוץ מאפיינים ולסיווג ישיר בלי אימון מוקדם, מה שחוסך תהליכי תיוג ידניים אם אתם צריכים לחפש או לקטלג הקלטות לפי הגדרות מילוליות.
מתאים ל
- סיווג קבצי קול
זיהוי צלילים כמו נביחה או שואב אבק מתוך רשימת תוויות טקסט חופשיות בלי צורך באימון מודל.
- חיפוש שמע לפי טקסט
חילוץ וקטורים מקבצי שמע ומתיאורים מילוליים כדי למצוא קטעי מוזיקה או אפקטים לפי תיאור תוכן.
- חילוץ מאפיינים לפרויקטים
הפקת ייצוג וקטורי דחוס מתוך דיבור או סאונד כללי עבור מודלים במורד הזרם.
איפה זה נופל
הקלט לטקסט מבוסס על רוברטה, ולכן שפות שאינן אנגלית יעשו בעיות אלא אם תתרגמו את השאילתות מראש. שמע שמכיל שכבות מעורבות כמו שיחה על רקע רעשי רחוב חזקים יכול להטעות את הציון, במיוחד בסיווג מרובה תוויות. בכרטיס המודל אין פירוט ביצועים מסודר לפי מבחני בנצ'מרק, ולכן תצטרכו לבדוק בעצמכם על דאטהסט אמיתי לפני שאתם סומכים על הציונים במוצר.
שאלות
נפוצות
האם הוא מתאים לזיהוי של מה שנאמר בדיבור?
לא. זה לא מודל לתמלול טקסט מדיבור אלא מודל שמבין את האופי של הקול. הוא יכול לזהות שמישהו מדבר או לסווג סגנון, אבל הוא לא מוציא מילים כתובות מתוך ההקלטה.
אפשר להשתמש בו ישירות בעברית?
המודל מאומן בעיקר באנגלית בגלל רכיב הטקסט שלו. אם תתנו לו תוויות בעברית התוצאות יהיו לא מדויקות, ולכן מומלץ לתרגם את המחרוזות לאנגלית לפני שליחתן לפרוססור.
איך מריצים
המודל שוקל 744 מגה בייט ורץ ישירות דרך ספריית הטרנספורמרס בפיטון. אפשר להעלות אותו למעבד רגיל או לכרטיס מסך בסיסי, והוא לא דורש שרתים כבדים או מאיצים מיוחדים בשביל לחלץ וקטורים מדגימות קצרות.
משתמשים בקלאפ פרוססור כדי להכין את הסאונד ומעבירים אותו למודל, או שמגדירים פייפליין לסיווג ישיר מול רשימת תוויות. אין סיבה אמיתית לפנות לשירותי ענן יקרים כשהמשקל כזה קל ואפשר להריץ אותו מקומית בלי סיבוך.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="laion/larger_clap_general")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 744 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י 2.0 המקובל. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצהירים על שינויים שנעשו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים