paligemma2-10b-mix
רץ בדפדפןgoogleרישיון לא דווח2024-12-02
מעלים תמונה, שואלים עליה שאלה באנגלית או מבקשים לסמן בה פריטים, ומקבלים תשובת טקסט או מסכות ויזואליות. מיועד למפתחים שרוצים לבדוק ישירות בדפדפן מודל ראייה ושפה של גוגל.
- —הורדות בחודש
- 98לייקים
מה זה
הממשק מחולק לשתי לשוניות עבודה. בלשונית הראשונה מעלים תמונה, כותבים שאלה ומגדירים בסליידר את כמות הטוקנים המרבית לתשובה. זה מתאים לחילוץ טקסט מתפריטים וכרטיסים, הבנת תרשימים וגרפים, ספירת אובייקטים או זיהוי אנשים וספרים לפי הדוגמאות שמגיעות עם העמוד.
בלשונית השנייה שולחים תמונה יחד עם תיאור של אובייקט, והפלט חוזר כתמונה מסומנת עם תיבות זיהוי או מקטעים גיאומטריים. מאחורי הקלעים רץ המודל paligemma2-10b-mix-448 דרך transformers, בשילוב משקלי VAE מקובץ מקומי לצורך פעולות המקטוע.
מתאים ל
- קריאת מסמכים ותפריטים
חילוץ תאריכים ומחירים מכרטיסים וקבלות, או קריאת פריטים מתוך תפריט מצולם.
- ניתוח תרשימים וגרפים
שאלות על יעדי פליטות, מגמות בנתונים וזיהוי גרסאות מתוך צילומי מסך של גרפים.
- זיהוי וסימון אובייקטים
איתור ציפורים, חתולים או פרחים בתמונה ויצירת מסכות ויזואליות סביבם.
איפה זה נופל
הבעיה המיידית היא סטטוס RUNTIME_ERROR, מה שאומר שההדגמה מושבתת כרגע ולא מגיבה. מעבר לזה, רזולוציית הקלט מוגבלת ל־448 על 448 פיקסלים לפי ארכיטקטורת המודל שנטען, כך שתמונות גדולות או צפופות יעברו כיווץ ויאבדו פרטים עדינים. בנוסף, כל הדוגמאות בנויות על אנגלית בלבד, ואין נתונים על תמיכה בעברית.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה לממשק בדפדפן פתוחה בחינם לגמרי. אין צורך להזין אמצעי תשלום ואין מנוי שצריך לרכוש. כל מה שנדרש הוא שהשרת יהיה במצב פעיל.
האם האפליקציה עובדת כרגע?
לא, המצב שלה מוגדר כשגיאת ריצה. הקוד נכשל בטעינה על גבי השרת, ולכן לא ניתן להריץ תמונות עד שגוגל יעדכנו את הקבצים. כדאי לבדוק שוב מאוחר יותר.
במה הממשק הזה שונה מהרצת המודל לבד?
כאן מקבלים סביבת בדיקה מיידית שלא דורשת התקנת דרייברים, הגדרת ספריות או הורדת עשרה מיליארד פרמטרים. מצד שני, הממשק מוגבל לפעולות הבסיסיות של גרדיו ואי אפשר לשלב אותו בצינורות עיבוד עצמאיים.
האם אפשר להריץ את זה מקומית?
כן, המודל gv-hf/paligemma2-10b-mix-448 זמין בספריית transformers וניתן לטעון אותו בקוד פייתון משלכם. תצטרכו חומרת GPU חזקה עם זיכרון משמעותי כדי להחזיק עשרה מיליארד פרמטרים.
איך משתמשים
לוחצים על כפתור השליחה בכל לשונית ומחכים לפלט. האפליקציה משתמשת בתשתית zero-a10g שמקצה כרטיס מסך של אנבידיה לפי דרישה, מה שאמור לתת עיבוד מהיר ברגע שהיא רצה, בלי דרישה להתחברות מראש. יחד עם זאת, כרגע הדף מדווח על שגיאת ריצה, ולכן אי אפשר לקבל תוצאות בפועל עד שהתקלה תתוקן.
הרישיון
הרישיון של היישום עצמו לא דווח בעמוד. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקוד או בפלטים, ורצוי להיזהר מהעלאת מידע רגיש. תמונות הדוגמה בממשק מוגדרות תחת רישיון CC0 לשימוש חופשי.