paligemma2-vqav2

מה זה

מזינים קובץ תמונה שלכם או בוחרים מתוך הדוגמאות, כותבים שאלה בתיבת הטקסט וקובעים בסליידר את כמות הטוקנים המקסימלית לפלט. בסיום לוחצים על כפתור השליחה, והממשק פולט טקסט פשוט שמשיב ישירות על מה ששאלתם.

מאחורי הקלעים רץ המודל google/paligemma2-3b-pt-448, שעליו הולבש מתאם LoRA בשם merve/paligemma2-3b-vqav2 שעבר אימון ייעודי על סט הנתונים VQAv2. המטרה של הכוונון הזה היא לתת תשובות עובדתיות ומדויקות לפרטים שמופיעים בצילום.

בדוגמאות המוכנות מראש אפשר למצוא את התמונה examples_bowie.jpg יחד עם השאלה מי מופיע בה, כשהסליידר מכוון מראש לשמונים טוקנים. זה מראה בדיוק איך המודל מזהה דמויות או פרטים ויזואליים ומחזיר שם או תיאור קצר.

מתאים ל

• זיהוי פרטים בתמונה

  שאילת שאלות עובדתיות ישירות על אובייקטים, צבעים או דמויות בצילום.

• בדיקת מתאם LoRA

  בחינת הביצועים של המתאם הספציפי על PaliGemma2 מול תמונות משלכם.

• חילוץ מידע חזותי קצר

  קבלת תשובה ממוקדת באנגלית על תכולת התמונה בלי לקרוא טקסטים ארוכים.

איפה זה נופל

האימון נעשה על VQAv2, סט שמכוון לתשובות קצרות וספציפיות, לכן אל תצפו כאן לפסקאות עמוקות, לניתוח יצירתי או להסברים פילוסופיים על התמונה. בנוסף, המודל אומן באנגלית ולא פורסם שום תיעוד על תמיכה בעברית, כך שפנייה בשפות אחרות כנראה תיכשל. אין פה אפשרות לנהל שיחה בהמשכים כי כל שליחה עומדת בפני עצמה ללא זיכרון היסטורי.

איך משתמשים

גוררים תמונה לחלון המיועד, מקלידים שאלה ולוחצים Submit. אין צורך בהרשמה או בהתחברות כדי להתחיל. הכל רץ על חומרת zero-a10g שמקצה מעבד גרפי של אנבידיה לפי דרישה בעזרת ספריית spaces, כך שהעיבוד מהיר מאוד אבל עלול להמתין כמה שניות אם המשאב נתפס על ידי משתמש אחר ברגע נתון.

הרישיון

הקוד והדמו מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. תמונות הדוגמה בממשק מסופקות ברישיון CC0 לשימוש חופשי לגמרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗