BLIP2-with-transformers

מה זה

אתם מעלים תמונה ומקבלים תיאור טקסטואלי קצר, או עוברים ללשונית השאלות ומנהלים שיחה על מה שרואים בצילום. הממשק מציע גם דוגמאות מובנות מראש לבדיקה מהירה, לצד הגדרות מתקדמות שמאפשרות לכוונן את צורת הדגימה, הטמפרטורה, עונש האורך ועונש החזרתיות של הטקסט.

מאחורי הקלעים רץ המודל Salesforce/blip2-opt-6.7b דרך ספריית transformers. הקוד נשען על מעבד ייעודי ועל שילוב של טעינה בפורמט 8 ביט כדי להריץ מודל בגודל כזה, כשהפלט מופק בהתאם להנחיה או לשאלה שהקלדתם.

מתאים ל

• תיאור אוטומטי של תמונות

  מעלים תמונה ומקבלים משפט תיאור באנגלית בלחיצת כפתור.

• מענה לשאלות על תוכן התמונה

  שואלים בצ'אט מה מופיע בפריים ומקבלים תשובה ישירה מהמודל.

• ניסוי בהגדרות יצירה

  משנים פרמטרים כמו טמפרטורה ועונש חזרתיות לבדיקת השפעתם על הפלט.

איפה זה נופל

הבעיה המיידית היא שהמרחב מסומן בשגיאת קונפיגורציה, ולכן אי אפשר להשתמש בו ישירות כרגע. מעבר לכך, המודל מתמקד באנגלית ולא מותאם לעברית, ותשובות ויזואליות מורכבות עלולות לכלול הזיות או לפספס פרטים קטנים בתמונה אם לא מכווננים את הפרמטרים בהגדרות המתקדמות.

איך משתמשים

בפועל בוחרים תמונה או מעלים קובץ, ולוחצים על Caption it לקבלת תיאור, או כותבים שאלה ולוחצים Submit. הקוד משתמש בהקצאת חומרה מסוג zero-a10g של המרחב, אבל נכון לעכשיו המצב של הדף מוגדר כ־CONFIG_ERROR, כך שהוא לא ירוץ בדפדפן עד שיתקנו את ההגדרה.

הרישיון

הפרויקט מפורסם תחת רישיון bsd-3-clause, שמאפשר שימוש רחב בקוד כולל שינוי והפצה תחת תנאי הרישיון. שימו לב שהמודל עצמו של Salesforce כפוף למגבלות ולתנאים המקוריים שלו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗