ImageBind_zeroshot_demo

מה זה

בממשק אתם בוחרים סוג קלט אחד מתוך תמונה, קובץ קול או וידאו, ומקלידים בתיבת הטקסט כמה תוויות שתרצו לבדוק. המערכת מחשבת את ההתאמה בין הקובץ לבין כל אחד מהטקסטים ומחזירה סיווג, בלי שהמודל אומן מראש על הקטגוריות הספציפיות האלה.

מאחורי הקלעים רץ המודל ImageBind של מטא, שממפה סוגי מידע שונים לאותו מרחב וקטורי. בדף יש דוגמאות מובנות מראש של תמונות, קטעי קול וסרטונים כדי שאפשר יהיה לראות את ההתאמה לטקסט מיד בלי להעלות קבצים מהמחשב.

מתאים ל

• סיווג תמונות

  העלאת תמונה ובדיקה איזה תיאור טקסטואלי הכי מתאים לה מתוך רשימה.

• זיהוי צלילים

  הזנת קובץ אודיו והתאמתו לתוויות טקסט כדי לזהות מה נשמע בהקלטה.

• תיוג וידאו

  סיווג קטעי וידאו קצרים לפי קטגוריות טקסט בלי לבצע אימון ייעודי.

איפה זה נופל

הבעיה המיידית היא שההדגמה קרסה עם שגיאת מערכת ואי אפשר להריץ עליה שום דבר כרגע. מעבר לזה, הממשק מוגבל רק לסיווג של מדיה אחת מול טקסט, כך שהוא מפספס יכולות עמוקות יותר של המודל כמו חיפוש אודיו באמצעות תמונה. גם השימוש באנגלית בלבד בטקסטים הוא מגבלה שחייבים לקחת בחשבון.

איך משתמשים

נכנסים, בוחרים ברדיו את סוג המדיה, מעלים קובץ או לוחצים על אחת הדוגמאות, ומקלידים תוויות. לא צריך להירשם או לשלם, אבל המרחב נמצא כרגע במצב של תקלת ריצה ולא מגיב. גם אם הוא היה פועל, הוא יושב על חומרת מעבד בסיסית בלי כרטיס גרפי, מה שהופך עיבוד של וידאו ואודיו במודל כזה לאיטי מאוד.

הרישיון

הקוד של ההדגמה מפורסם תחת רישיון MIT, מה שנותן חופש מלא להעתיק, לשנות ולהריץ אותו איפה שרוצים. המודל עצמו נשען על הפיתוח של פייסבוק, והקבצים שתעלו נשלחים ישירות לשרת שמריץ את המרחב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗