OFA-Generic_Interface

מה זה

הממשק מציג חיבור בין ראייה ממוחשבת לטקסט על בסיס מודל שמטפל בכמה משימות שונות במקום אחד. אתם מזינים תמונה מקובץ, בוחרים ברדיו אחת מארבע אפשרויות שכוללות תיאור תמונה, מענה לשאלות על תמונה, איתור עצמים חזותי או משימה כללית, ומוסיפים שורת הנחיה בטקסט לפי הצורך. בצד של התוצאה מקבלים תמונה חוזרת ופלט טקסטואלי.

בקוד המקור המערכת נשענת על fairseq וטוענת משימות ייעודיות לכל פעולה, לצד רישום של מודל השפה gpt2. הדוגמאות שמובנות בעמוד מדגימות בדיוק את זה, עם שאלה איפה נמצאים החתולים מתוך תמונת חתולים, איתור של דמות עם כובע קש בתמונה מסדרת אנימה, ובדיקה כללית של מיקום וצבע של רכבים מתוך תמונה של שלושה בתים.

מתאים ל

• תיאור אוטומטי לתמונות

  מעלים תמונה בלי טקסט ומקבלים תיאור של מה שמופיע בה עבור תיוג או נגישות.

• מענה לשאלות על תמונה

  שואלים שאלה ספציפית על פרטים בתוך התמונה ומקבלים תשובה ישירה בטקסט.

• איתור עצמים לפי תיאור

  מקלידים תיאור של פריט או דמות, והמודל מחזיר את התמונה עם סימון המיקום שלו.

איפה זה נופל

הבעיה המרכזית היא שהדף פשוט לא עובד כרגע בגלל תקלת קוד בהרצה, כך שאי אפשר להזין נתונים עצמאיים. מעבר לזה, חומרת מעבד בלבד אינה מתאימה לזמני תגובה מהירים במודלים של עיבוד תמונה ושפה יחד. הממשק גם דורש התאמה מדויקת בין סוג המשימה שבחרתם לטקסט ההנחיה, אחרת הפלט לא יחזיר תוצאה רלוונטית.

איך משתמשים

נכון לעכשיו אי אפשר להריץ את הממשק בדפדפן כי הוא תקוע במצב של שגיאת בנייה. במצב פעיל, בוחרים קובץ תמונה, מקלידים הנחיה אם המשימה דורשת זאת, ולוחצים על שליחה כדי לקבל את המענה. אין צורך בהתחברות או תשלום, והחומרה שמוגדרת עבורו היא שדרוג מעבד ללא מאיץ גרפי, כך שעיבוד של מודלים כאלה צפוי להיות איטי יחסית.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה כולל שימוש מסחרי, בכפוף לתנאי הרישיון. לגבי המידע שאתם מעלים, התמונות והטקסט מעובדים דרך השרת שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗