prismer

מה זה

הממשק מחולק לשתי לשוניות עבודה. בלשונית הראשונה מעלים תמונה ומקבלים תיאור טקסטואלי מלא שלה בלי שום הנחיה מוקדמת. בלשונית השנייה שואלים שאלה מוגדרת על התוכן הוויזואלי, ומקבלים תשובה ישירה שמנתחת את מה שמופיע בקובץ.

מתחת למכסה המנוע רץ שילוב של כמה מודלים כבדים. הוא נשען על המודל של prismer יחד עם CLIP של laion לעיבוד התמונה, ומשתמש בגרסאות הבסיס וההרחבה של RoBERTa של פייסבוק כדי לפענח ולנסח את התשובות בשפה טבעית.

מתאים ל

• תיאור תמונות אוטומטי

  יצירת כיתוב טקסטואלי באנגלית לתמונות ללא צורך בהזנת פרומפט מקדים.

• מענה לשאלות על תמונה

  העלאת קובץ ויזואלי והצגת שאלות נקודתיות על הפרטים והעצמים שמופיעים בו.

• בדיקת שילוב מודלים

  בחינת הביצועים של חיבור בין CLIP ו־RoBERTa לניתוח ויזואלי ולשוני.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט מרוסקת כרגע עם שגיאת זמן ריצה ולא עובדת כלל בדפדפן. בנוסף, מודלים מהסוג הזה בנויים על שפה אנגלית, כך שאין מה לצפות להבנה או לתשובות בעברית תקינה. אם הקוד יחזור לעבוד, תיאורים חופשיים עלולים להמציא פרטים שלא קיימים בתמונה.

איך משתמשים

נכנסים לממשק הדפדפן, בוחרים לשונית לפי המשימה, מעלים קובץ תמונה ולוחצים על כפתור ההרצה. הקוד כולל אזהרה מפורשת על תורים בזמני עומס, עם הצעה לשכפל את החלל לחומרה פרטית. נכון לעכשיו אין טעם לנסות, כי הדף נמצא במצב שגיאת הרצה ולא יגיב ללחיצות שלכם.

הרישיון

הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי וידוע. המשמעות היא שלא ברור אם מותר להשתמש בתוצרים לצרכים מסחריים, ומומלץ לבדוק את תנאי המקור של הפרויקט לפני שמעלים חומרים רגישים.

הרישיון המלא ב־Hugging Face ↗