paligemma-hf

מה זה

מעלים תמונה וכותבים שאלה או הוראה בטקסט, והמערכת מחזירה תשובה כתובה או תמונה מסומנת. המסך מחולק לשתי לשוניות נפרדות, אחת מיועדת ליצירת טקסט על בסיס התמונה והשנייה מתמקדת בזיהוי מיקום של עצמים וסימונם. בדוגמאות המובנות אפשר לראות זיהוי חיות כמו דבורה או אמו, קריאת טקסט מתוך תמונה של סיסמה או כריכת ספר, ופקודות לחיתוך ויזואלי של חתולים.

מאחורי הקלעים רץ המודל google/paligemma-3b-mix-448 דרך ספריית transformers, יחד עם מעבד נתונים ייעודי וקובץ משקולות בשם vae-oid לחלק הוויזואלי. מדובר במודל שמשלב עיבוד תמונה ברוחב 448 פיקסלים יחד עם שפה טבעית, והוא נבנה כדי לטפל בכמה משימות ראייה ממוחשבת במקביל דרך אותה ארכיטקטורה.

מתאים ל

• מענה על שאלות מתמונה

  מעלים צילום ושואלים מה מופיע בו כדי לקבל זיהוי ישיר של פרטים ועצמים.

• קריאת טקסט מתצלומים

  מציגים למודל עטיפת ספר או פתק כדי לחלץ את הטקסט שמופיע עליהם.

• סימון עצמים בתמונה

  מבקשים לבודד אובייקט ספציפי כמו חתולים ורואים את הסימון הוויזואלי שלו.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט קורסת ולא פועלת כרגע, ולכן אי אפשר לבדוק עליה שום דבר בפועל. הדוגמאות שנמצאות בממשק מתרכזות בעיקר במשימות פשוטות כמו זיהוי חתול או קריאת מילה בודדת, מה שלא מראה איך המודל מתמודד עם תמונות מורכבות יותר. בנוסף, הממשק מחייב שימוש בתמונות בגודל קבוע ומותאם, ולא ידוע אם הוא מתמודד בצורה סבירה עם שפות שאינן אנגלית.

אותה משפחה

paligemma יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך משתמשים

בוחרים לשונית לפי המשימה, גוררים תמונה לקובייה הייעודית, מקלידים הנחיה או שאלה ולוחצים על כפתור השליחה. יש גם סליידר שמאפשר לקבוע את כמות הטוקנים שיווצרו בתשובה. כרגע לא תצליחו להריץ כאן שום דבר כי העמוד נמצא במצב שגיאת ריצה. מעבר לזה, החומרה המוגדרת היא מעבד בסיסי בלבד, כך שגם אם המתכנתים יתקנו את התקלה, העיבוד של מודל כזה על מעבד רגיל צפוי להיות איטי במיוחד ולא ייתן מענה מהיר כמו כרטיס מסך ייעודי.

הרישיון

הקוד והדף מפורסמים תחת רישיון apache-2.0 שמתיר שימוש חופשי ושינויים בקוד. תמונות הדוגמה שמגיעות עם הממשק שוחררו ברשות הציבור ברישיון CC0. לגבי קבצים אישיים שאתם מעלים, לא מצוין בעמוד מה מדיניות השמירה או הפרטיות שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗