VCoder

מה זה

אתם מעלים תמונה רגילה, ויכולים לצרף אליה גם מפת מקטעים ומפת עומק. בחלון הצדדי בוחרים מודל מתוך הרשימה, שכוללת גרסאות כמו opt-350m, vicuna-7b-v1.5 ודגם הדגל של המעבדה vcoder_ds_llava-v1.5-13b. בתיבת הטקסט כותבים שאלה חופשית על מה שרואים, והצ'אט מחזיר תשובה מילולית שמבוססת על שילוב הקלטים.

הקוד כולל דוגמאות מובנות של אנשים, סצנות מורכבות וכלב קורגי, לצד מפות הסגמנטציה והעומק התואמות שלהם. הדוגמאות מתמקדות בשאלות כמו זיהוי אובייקטים ודירוג המרחק שלהם במרחב מהקרוב לרחוק, תחום שבו מודלי שפה חזותיים רגילים מתקשים ללא מפות עזר ייעודיות.

מתאים ל

• ניתוח יחסי מרחק ועומק

  זיהוי סדר האובייקטים בסצנה מהקרוב לרחוק באמצעות הזנת מפת עומק תואמת.

• זיהוי עצמים לפי מקטעים

  תשאול מודל השפה על אובייקטים ספציפיים שמוגדרים במפת מקטעים ייעודית.

• השוואת מודלים חזותיים

  בדיקת אותה שאלה מול vicuna לעומת vcoder_ds_llava כדי לבחון שיפור בדיוק.

איפה זה נופל

הבעיה המיידית היא שהמרחב נמצא כרגע במצב RUNTIME_ERROR, כך שאי אפשר להריץ עליו שום בדיקה עד שהיוצרים יתקנו את הסקריפט. מעבר לכך, כדי לקבל תשובות איכותיות על עומק או מיקום, אתם חייבים לספק מפות מוכנות מראש ולא רק תמונה רגילה, מה שהופך שימוש ספונטני למסורבל. כמו כן, הדגם הכבד ביותר מבוסס על 13B פרמטרים, מה שדורש משאבים כבדים גם אם המרחב היה תקין.

איך משתמשים

טוענים את התמונה ואת המפות המתאימות, בוחרים מודל, ואם רוצים מכוונים בהגדרות את ערכי temperature, top_p וכמות טוקנים מרבית עד 1024. לוחצים על Send וממתינים לתשובה. המערכת מוגדרת לרוץ על חומרת a10g-small, אך כרגע הדף מציג שגיאת ריצה כללית ואי אפשר לשלוח בקשות בפועל בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי ושינוי קוד. שמירת הנתונים המועלים תלויה בשרתי Hugging Face שעליהם המרחב מאוחסן, ולכן מומלץ לא להעלות תמונות פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗