BLIP

מה זה

הממשק מציע שתי פעולות עיקריות מול תמונה. הראשונה מייצרת תיאור טקסטואלי מלא של מה שרואים בפריים, והשנייה עונה על שאלות חופשיות באנגלית לגבי התוכן שלה. לבחירתכם עומדות שתי אסטרטגיות פענוח טקסט, Beam search או Nucleus sampling, שמכתיבות כמה התוצאה תהיה שמרנית או מגוונת. הדוגמה המובנית מציגה את הציור starrynight.jpeg לצד יצירת תיאור.

מאחורי הקלעים רץ המודל BLIP של Salesforce, שנועד להבנה ויצירה משולבת של תמונה ושפה. לצדו מוגדרים במערכת גם מודלי שפה ממשפחת bert-base של גוגל, שמסייעים בעיבוד הטקסט. הכל נשען על קוד פייתון פשוט שמפענח את הקלט ומחזיר שורת טקסט בודדת.

מתאים ל

• תיאור תמונות באנגלית

  יצירת כיתוב אוטומטי לתמונות מתוך הדוגמאות הקיימות כדי להבין את רמת הדיוק של המודל.

• מענה על שאלות חזותיות

  בדיקת היכולת לזהות פרטים ספציפיים בתמונה לפי שאלה ממוקדת באנגלית.

• השוואת שיטות דגימה

  בחינת ההבדל בין Beam search לבין Nucleus sampling על אותו הקלט בדיוק.

איפה זה נופל

ההדגמה הזו שבורה כרגע ולא נטענת בדפדפן בגלל שגיאת בנייה. גם כשהיא תתוקן, אי אפשר להעלות אליה תמונות עצמאיות אלא רק לבחור דוגמאות מוכנות מראש כמו starrynight.jpeg. כל העבודה מוגבלת לשפה האנגלית, כך שאין טעם לנסות להזין שאלות בעברית. מי שבונה על היכולות של המודל צריך להריץ אותו עצמאית ולא להסתמך על העמוד הזה.

איך משתמשים

לוחצים על דוגמה מובנית מתוך הרשימה, בוחרים אם לייצר תיאור או לענות על שאלה, ואם בחרתם בשאלה מקלידים אותה בתיבת הטקסט. לאחר מכן בוחרים את שיטת הפענוח ומפעילים. אין צורך בהרשמה, והמערכת מנהלת תור פנימי לבקשות.

בפועל, כרגע אין אפשרות להריץ שום דבר בדפדפן. העמוד מדווח על שגיאת בנייה שמונעת ממנו לעלות. מעבר לכך, הקוד מוגדר לרוץ על מעבד בסיסי, מה שאומר שגם כשהוא עובד, פענוח תמונות עשוי לקחת זמן מה. בנוסף, מפתחי ההדגמה חסמו לחלוטין העלאת תמונות חדשות מהמחשב כבר במרץ 2023.

הרישיון

הקוד מפורסם תחת רישיון bsd-3-clause, שמאפשר שימוש חופשי וגם מסחרי, בכפוף לשמירה על הקרדיט ותנאי הרישיון. מאחר שהעלאת קבצים חסומה בהדגמה, אין פה סוגיה של פרטיות קבצים אישיים מול השרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗