Img_to_prompt

מה זה

הממשק מבוסס על קלט של תמונת פיל ושדה טקסט חופשי לשאלות. אתם מעלים קובץ תמונה, בוחרים כמה כתוביות תרצו לייצר דרך שדה מספרים שמוגדר כברירת מחדל לחמש, ולוחצים על הכפתור המתאים. התוצאות מוחזרות לתוך טבלת נתונים שמציגה את הכתוביות, או בתוך תיבת טקסט נפרדת כששואלים שאלה ישירה על מה שרואים בתמונה.

מאחורי הקלעים הקוד טוען כלים של ספריית lavis יחד עם המודל facebook/opt-350m ממשפחת השפה הפתוחה של מטא, לצד טוקנייזר תואם דרך transformers. יש שם גם הכנה למפות חום של gradcam שמראה על מה האלגוריתם הסתכל, ומעקב אחרי זיכרון ה־RAM במערכת. הממשק מכיל בלוק של דוגמאות מוכנות מראש כדי שאפשר יהיה לבדוק את התהליך בלי להעלות קובץ חיצוני מיד בהתחלה.

מתאים ל

• הפקת פרומפטים מתמונות

  מייצרים רשימה של תיאורי טקסט מתוך תמונה קיימת כדי להבין איך לתאר אותה למודלי שפה.

• מענה לשאלות על תמונה

  שואלים שאלה ממוקדת על תוכן הוויזואלי ומקבלים תשובה ישירה בטקסט.

• בדיקת מודלים קלים

  בוחנים את היכולת של opt-350m בשילוב lavis לניתוח מהיר של תמונות.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה שבורה לחלוטין ולא עולה בגלל שגיאת בנייה בקוד. מעבר לזה, המודל שרץ ברקע הוא opt-350m, מודל קטן מאוד עם 350 מיליון פרמטרים בלבד, כך שלא כדאי לצפות לרמת הבנה מורכבת או תיאורים עשירים כמו של מודלי ראייה מודרניים. הקוד גם מראה שחלק מהרכיבים, כמו הכפתור למפת gradcam, מנוטרלים בהערה בקוד המקור.

איך משתמשים

לוחצים על העלאת תמונה, כותבים שאלה אם רוצים, ומקליקים על Generate caption או על Answer. השרת מוגדר לרוץ על חומרת t4-small, כך שזמן התגובה אמור להיות סביר לפעולות בסיסיות של מודלים קטנים. אין דרישה מפורשת להרשמה מראש, אבל כרגע האפליקציה נמצאת בסטטוס של שגיאת בנייה BUILD_ERROR, ולכן היא כלל לא נטענת בדפדפן ואי אפשר להריץ אותה ישירות.

הרישיון

הפרויקט פורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. לגבי התמונות שאתם מעלים או הטקסטים שנוצרים, תנאי השימוש נגזרים ישירות ממה שמקובל במרחב הציבורי של הוגינג פייס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗