VL-Chatbox

מה זה

אתם מעלים קובץ ושואלים עליו שאלות בתיבת טקסט, ומקבלים תשובות מילוליות ישירות בחלון הצ'אט. מאחורי הקלעים רץ המודל glm-4v-9b, שהוא מודל רב מודלי של תשעה מיליארד פרמטרים שנועד להבין גם טקסט וגם תמונה יחד.

לפי הקוד, התוכנה משתמשת בספריות כמו pymupdf, docx ו־pptx, מה שמראה שהיא יודעת לחלץ מידע לא רק מתמונות אלא גם ממסמכי וורד, מצגות וקובצי PDF, אם כי שגיאות מובנות בקוד עלולות לחסום קבצים לא נתמכים. בממשק יש חלונית פרמטרים עם סליידרים שונים לכוונון הריצה, לצד דוגמאות מובנות שמזינות קלט מוכן מראש לתיבת הצ'אט.

מתאים ל

• ניתוח תמונות

  מעלים תמונה לתיבת השיחה ומבקשים תיאור מילולי או חילוץ של פרטים ספציפיים מתוכה.

• בדיקת מסמכים ומצגות

  מטעינים קובץ וורד, PDF או מצגת ושואלים שאלות על המידע והתוכן שנמצא בהם.

• בחינת פרמטרים של המודל

  משנים את ערכי הסליידרים בממשק כדי לראות איך ההגדרות משפיעות על איכות התשובה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן כרגע בגלל שגיאת ריצה כללית בהפעלה. מעבר לזה, הקוד זורק שגיאה מפורשת על קבצים שאינם נתמכים, כך שלא כל פורמט שתנסו לטעון יעבור בשלום.

בנוסף, המודל עצמו נשען על קוד חיצוני שדורש הרשאות הרצה מיוחדות, ודפי ההסבר לא מפרטים באילו תרחישים המודל הזה מתקשה או מתי הניתוח החזותי מפספס.

איך משתמשים

בפועל אתם גוררים קובץ לתיבת השיחה המולטימודלית, מקלידים את השאלה ולוחצים על שליחה. פתיחת חלונית ההגדרות מאפשרת לשחק עם ערכי הסליידרים כדי לשנות את התנהגות הפלט לפני שרצים.

התוכנה מוגדרת לרוץ על חומרת zero-a10g שמקצה מעבד גרפי של אנבידיה לפי דרישה, מה שאמור לתת מענה מהיר באמצעות הזרמת טקסט, אבל נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה. זה אומר שאי אפשר להשתמש בה ישירות בדפדפן עד שמי שבנה אותה יתקן את התקלה בעלייה.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה ושינוי לכל מטרה. לגבי התוכן שאתם מעלים או התשובות שנוצרות, אין תיעוד מסודר שמסביר מה נשמר בשרת בזמן הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗