SALMONN-7B-gradio

מה זה

מעלים קובץ שמע ישירות לממשק ומקלידים שאלה בתיבת הטקסט, למשל בקשה לתמלול, תרגום, תיאור כללי של הרחש ברקע או ניתוח מוזיקלי. בתגובה מקבלים תשובה כתובה שמנסה לחבר בין מה שנשמע בקובץ לבין ההוראה שניתנה.

מאחורי הקלעים רץ שילוב של SALMONN בגרסת שבעה מיליארד פרמטרים יחד עם המודל של ברט מבסיס גוגל לעיבוד הטקסט. הממשק כולל גם לשונית הגדרות מתקדמות שבה אפשר לכוונן מדדים כמו טמפרטורה, דגימת הסתברות ומספר מסלולי החיפוש, לצד אזור דוגמאות מובנה שמאפשר להריץ בדיקות ראשוניות על קבצים קיימים.

מתאים ל

• תמלול ותרגום דיבור

  העלאת קטע דיבור קצר ותרגומו ישירות לאנגלית לצד חילוץ הטקסט המקורי שנאמר בו.

• זיהוי וניתוח קטעי מוזיקה

  שאילת שאלות לגבי סגנון הנגינה, כלי הנגינה שמנגנים ברקע והמבנה הכללי של היצירה.

• תיאור רעשי רקע וסביבה

  זיהוי התרחשויות קוליות בהקלטה, כמו טריקת דלת, צפירת רכב או קולות של בעלי חיים.

איפה זה נופל

המודל מתקשה להתמודד עם קבצים ארוכים מדי, שכן חלון ההקשר מוגבל והזיכרון של המעבד הגרפי עלול להיגמר באמצע. בנוסף, חילוץ דיאלוג מרובה דוברים או תמלול בסביבה רועשת מאוד לא תמיד מניבים תוצאה מדויקת. ההדגמה מתאימה לבדיקת היתכנות על קטעים קצרים, ולא לעיבוד אוטומטי של הרצאות שלמות.

איך משתמשים

טוענים קובץ לנגן, כותבים שאלה ולוחצים על כפתור השליחה. הריצה מתבצעת על מאיץ גרפי שמוקצה לפי דרישה, מה שאומר שבשעות עומס ייתכן שתמתינו בתור קצר עד שהמשאבים יתפנו ויידלקו. השימוש פתוח בדפדפן ולא מחייב כניסה עם חשבון, אבל זמני המענה תלויים לחלוטין בזמינות החומרה באותו רגע.

הרישיון

הפרויקט מפורסם תחת רישיון אפאצ'י שתיים, שמתיר שימוש נרחב בקוד ובתוצרים כולל התאמות ושינויים. עם זאת, הקבצים שאתם מעלים עוברים דרך השרת המארח של הקהילה, ולכן לא מומלץ להעלות לשם הקלטות רגישות או מידע עסקי חסוי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗