PandaGPT

מה זה

אתם מעלים תמונה, הקלטת אודיו, קובץ וידאו או תמונה תרמית, מקלידים שאלה בתיבת הטקסט ומקבלים תשובה בצ'אט. הקוד לא מאפשר להתחיל שיחה עם טקסט בלבד, כך שחייבים לספק לפחות קובץ מדיה אחד כדי שהממשק יפעל.

מאחורי הקלעים המערכת מריצה גרסת 7B של המודל שמבוססת על vicuna_7b_v0 יחד עם OpenLLAMA ומשקולות PEFT. הממשק מספק גם שליטה בסיסית בהגדרות הריצה, כולל אורך מקסימלי של התשובה עד 400 תווים, מדד top p ומדד temperature.

מתאים ל

• תשאול תמונות ותרמיקה

  מעלים תמונה רגילה או תרמית ושואלים שאלות על הפרטים והעצמים שמופיעים בה.

• ניתוח קובצי וידאו

  מעלים קטע וידאו ומבקשים מהצ'אט לתאר מה קורה בו לפי שאלות ספציפיות.

• תמלול והבנת אודיו

  מזינים קובץ שמע ומבררים מה נאמר בו או מה ההקשר של הצלילים.

איפה זה נופל

הבעיה המרכזית היא שההדגמה שבורה כרגע ולא מחזירה פלט בגלל שגיאת ריצה. גם כשהיא עובדת, הקוד זורק שגיאה מפורשת בסינית אם מנסים לשלוח טקסט בלי לצרף קובץ מדיה. מעבר לכך, מדובר בגרסת 7B קטנה יחסית שהוגבלה במכוון עקב מחסור במשאבי חישוב, והתשובות מוגבלות לאורך של 400 לכל היותר.

איך משתמשים

נכנסים לעמוד, גוררים קובץ לאחת מתיבות המדיה, כותבים שאלה ולוחצים על Submit. יש כפתור Resubmit לניסיון חוזר וכפתור לאיפוס היסטוריית השיחה. המרחב מוגדר לרוץ על חומרת a10g-large, אך בפועל האפליקציה נמצאת במצב של שגיאת ריצה (RUNTIME_ERROR), כך שהיא מושבתת כרגע ולא תגיב בלחיצה.

הרישיון

הרישיון מוגדר כ־other, כלומר אין רישיון קוד פתוח סטנדרטי ומוכר בעמוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, ואין פירוט לגבי מה קורה עם קובצי המדיה שאתם מעלים לשרת.

הרישיון המלא ב־Hugging Face ↗