BLIP2

מה זה

אתם מעלים קובץ תמונה ומקבלים שתי אפשרויות עבודה. הראשונה מייצרת כיתוב אוטומטי לתמונה בלחיצת כפתור, והשנייה פותחת צ'אט שבו שואלים שאלות על הפרטים שמופיעים בה, למשל במבנה של שאלה ותשובה באנגלית עם סימני פיסוק מדויקים.

מאחורי הממשק רצים שני מודלים כבדים של Salesforce, גרסת blip2-opt-6.7b וגרסת blip2-flan-t5-xxl. הממשק חושף שליטה בהגדרות דגימה כמו טמפרטורה, עונש על אורך ועונש על חזרתיות, וכולל דוגמאות מובנות מראש שאפשר לטעון ישירות כדי לראות איך הניתוח עובד.

מתאים ל

• תיאור תמונות אוטומטי

  מעלים תמונה ומפיקים ממנה תיאור טקסטואלי קצר באנגלית בלחיצת כפתור אחת.

• שאלות ותשובות על תמונה

  שואלים באנגלית על פרטים בתוך התמונה ומקבלים מענה מבוסס ראייה ממוחשבת.

• כיוונון פרמטרי יצירה

  משנים ערכי טמפרטורה וענישה על חזרתיות כדי לבחון איך המודל מגיב לשינויים.

איפה זה נופל

בגלל שהיא יושבת על מעבד בסיסי, מהירות העיבוד כאן לא מייצגת את מה שהמודלים האלה מסוגלים לתת כשהם רצים על כרטיס גרפי חזק. בנוסף, ההדגמה דורשת ניסוח מוקפד באנגלית כולל סימני שאלה כדי שהצ'אט יחזיר תשובות נכונות, כך שאם תכתבו בעברית או בלי פיסוק תקבלו תוצאות שבורות. זו הדגמה טכנית בלבד, לא ממשק מוכן לעבודה שוטפת מול קבצים רבים.

איך משתמשים

גוררים תמונה לתיבת הקלט או בוחרים באחת הדוגמאות המוכנות, ולוחצים על יצירת כיתוב או כותבים שאלה ולוחצים על שליחה. אין צורך בחשבון או בהתחברות כדי להתחיל לעבוד.

האפליקציה רצה על חומרת מעבד בסיסית, מה שאומר שזמני התגובה יכולים להיות איטיים יחסית. שליחת בקשות למודלים בסדר גודל כזה על מעבד רגיל גוררת לרוב המתנה מורגשת לכל פלט.

הרישיון

הקוד מופץ תחת רישיון bsd-3-clause, שמאפשר שימוש חופשי כולל שימוש מסחרי והפצה מחדש, כל עוד שומרים על תנאי הרישיון המקוריים וזכויות היוצרים. הממשק שולח נתונים לנקודות קצה חיצוניות לצורך העיבוד, כך שלא כדאי להעלות תמונות רגישות או פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗