pix2struct-ai2d-base
קוד פתוחgoogleapache-2.02023-03-14
מודל ראייה ושפה קל משקל של גוגל שעונה על שאלות מתוך דיאגרמות ותרשימים מדעיים. הוא מיועד למי שרוצה ניתוח ויזואלי ממוקד על חומרה מקומית פשוטה.
- 282Mפרמטרים
- 1.1 GBמשקל הקבצים
- 1,462הורדות בחודש
- 43לייקים
מה זה
הארכיטקטורה של פיקס2סטראקט מתייחסת לטקסט ולתמונה כיחידה אחת. במקום להריץ מנוע זיהוי תווים נפרד ואז לנתח את המילים, המודל מרנדר את שאלת הטקסט ישירות על גבי התמונה ומעבד אותה דרך רשת הראייה. שיטת האימון המקורית התבססה על פיענוח צילומי מסך לקוד מבני, מה שנתן לו הבנה טובה של חצים, תוויות ומיקומים יחסיים.
הגרסה הזו עברה כוונון ייעודי על מאגר AI2D, שמכיל אלפי תרשימים מדעיים עם שאלות רב ברירה. עם 282 מיליון פרמטרים, הוא שייך לקטגוריית המשקל הקל, מה שמאפשר לו לתת תשובות קצרות בדיוק נקודתי בלי להזדקק לתשתיות ענק.
מתאים ל
- פתרון מבחנים מדעיים
מענה על שאלות רב ברירה מתוך תרשימי ביולוגיה, גאולוגיה וטבע לפי תוויות מספריות.
- חילוץ מידע מאינפוגרפיקה
זיהוי רכיבים וחלקים בדיאגרמות פשוטות שבהן יש חצים ומספרים שמפנים למונחים.
- בדיקת תרשימים אוטומטית
אימות מהיר של שדות ותוויות מתוך שרטוטים לימודיים על מעבד מקומי ללא עלויות ענן.
איפה זה נופל
המודל אומן לענות במבנה ספציפי מאוד של שאלות ברירה מרובה, שבו מגדירים אפשרויות ממוספרות בתוך הפרומפט. כשתנסו לשאול שאלה פתוחה לחלוטין או לבקש הסבר חופשי, הוא יתקשה מאוד או יפלוט תשובות שבורות. בנוסף, חומרי האימון התמקדו באנגלית, כך שאין כאן תמיכה מעשית בדיאגרמות בעברית, והוא עלול להתבלבל בתרשימים צפופים עם טקסט קטן מדי.
שאלות
נפוצות
האם המודל תומך בדיאגרמות עם טקסט בעברית?
לא. למרות שרשומות כמה שפות אירופיות במפרט, הכוונון של גרסת הדיאגרמות נעשה באנגלית בלבד. טקסט עברי בתמונה יוביל לקריאה שגויה או להתעלמות מהתוכן.
איך צריך לנסח את השאלות כדי לקבל תשובה מדויקת?
הפורמט שהמודל מכיר הוא שאלת ברירה מרובה. כותבים את השאלה ואחריה את האפשרויות בסוגריים עם מספרים, למשל אפשרות אחת ושתיים, והוא יחזיר ישירות את התשובה הנבחרת.
איך מריצים
המשקל הכולל של הקבצים עומד על 1.1 גיגה בייט, כך שאפשר להריץ אותו בלי בעיה על מעבד רגיל או על כרטיס מסך בסיסי עם מעט זיכרון. בשימוש עם bfloat16 הוא תופס שטח זניח בזיכרון ה־VRAM ומגיב מהר דרך ספריית transformers.
אם אתם צריכים רק לסווג דיאגרמות או לענות על שאלות במבנה אמריקאי, שווה להריץ אותו מקומית ולא לשלם לספקי ענן לפי קריאה. לעומת זאת, אם אתם מחפשים תשובות מנומקות או פענוח של מסמכים מורכבים עם פסקאות ארוכות, עדיף לפנות למודלים גדולים יותר דרך שירות חיצוני.
from transformers import pipeline
pipe = pipeline("visual-question-answering", model="google/pix2struct-ai2d-base")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון אפאצ'י 2.0 מעניק חופש מלא לשימוש מסחרי, שינוי הקוד והפצה פנימית או חיצונית בתוך מוצרים. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים, בלי שום חובה לפתוח את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים