BuboGPT

מה זה

אתם מעלים תמונה, קובץ שמע, או את שניהם יחד, ושואלים שאלות בצ'אט. המערך מחזיר תשובה טקסטואלית מסומנת ומציג תמונה נוספת עם תיחום ויזואלי של האובייקטים שהוזכרו בשיחה, לצד אפשרות לכוונן פרמטרים כמו טמפרטורה ומספר אלומות חיפוש.

מאחורי הקלעים רץ שילוב של מספר מודלים כבדים: MiniGPT-4 לניהול השיחה, EVA לעיבוד התמונה, מודלי BERT של גוגל לחלק הטקסטואלי, ורכיבי חיבור כמו ImageBind שאחראים על התאמת השמע והתמונה למרחב משותף. הקוד כולל מודולים ייעודיים לתיוג ולעיגון ויזואלי כדי לחבר בין המילים למיקום המדויק בפיקסלים. בקוד המקור מצוין במפורש שאין כרגע דוגמאות מוכנות בממשק.

מתאים ל

• ניתוח משולב של תמונה וקול

  העלאת תצלום לצד הקלטת שמע קשורה ושאילת שאלות על הקשר בין השניים.

• איתור ויזואלי של ישויות

  קבלת תמונה מעובדת שבה מודגשים ומתוחמים אובייקטים ספציפיים שהוזכרו בתשובה.

• בדיקת יכולות רב-מודאליות

  בחינת השילוב בין מודל שפה כמו MiniGPT-4 למודלי תמונה ושמע שונים במקום אחד.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית: ההדגמה מדווחת על שגיאת הפעלה ולא מחזירה מענה. מעבר לכך, הממשק דורש העלאה מפורשת לפני שניתן בכלל להקליד שאלה, ואין בו דוגמאות מובנות לבדיקה מהירה. החיבור בין מודל שמע, מודל ראייה ומודל שפה מייצר צווארי בקבוק, ותיאום שגוי ביניהם עלול להוביל לזיהוי לא מדויק של עצמים בתמונה ביחס לצליל שהועלה.

איך משתמשים

בפועל גוררים תמונה או שמע לשדות המתאימים ולוחצים על כפתור ההעלאה, ורק אז שדה הטקסט נפתח להקלדה. כרגע אי אפשר להריץ את ההדגמה בעמוד כי היא תקועה על שגיאת זמן ריצה ולא פעילה. באופן כללי היא הוגדרה לרוץ על מעבד גרפי A10G קטן, חומרה צנועה יחסית עבור שרשרת של ארבעה מודלים שונים, כך שגם בזמן עבודה תקין העיבוד צפוי לקחת זמן מה.

הרישיון

הקוד פתוח תחת רישיון אפאצ'י 2.0, שמאפשר שימוש חופשי ושינוי של הקוד. לגבי התמונות וקבצי השמע שמועלים או הטקסטים שנוצרים, תנאי השימוש הרגילים של השרת חלים עליהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗