deplot
קוד פתוחgoogleapache-2.02023-04-03
הוא לוקח תמונה של גרף או תרשים והופך אותה לטבלת נתונים טקסטואלית. זה פתרון ממוקד למי שרוצה להזין נתוני תרשימים למודל שפה בלי לשלם על עיבוד תמונה יקר.
- 282Mפרמטרים
- 2.1 GBמשקל הקבצים
- 35,135הורדות בחודש
- 320לייקים
מה זה
הרעיון כאן הוא פירוק בעיה מורכבת לשני שלבים פשוטים. במקום לבקש ממודל ראייה ענק להבין את התרשים ולענות על שאלות לגביו בבת אחת, הרשת הזו עושה רק דבר אחד: קוראת את התמונה ומייצרת ממנה טבלה שטוחה שמייצגת את המספרים והתוויות המקוריים.
המודל מבוסס על ארכיטקטורת Pix2Struct וכולל 282 מיליון פרמטרים בלבד. לפי המחקר שצורף לכרטיס, שילוב של הפלט הטבלאי שלו יחד עם מודל שפה בשיטת פרומפט של דוגמה אחת הציג שיפור של 24.0% מול מודלים ייעודיים שאומנו על מעל 28 אלף דוגמאות במשימות שאלות ותשובות על תרשימים שנכתבו בידי אדם.
מתאים ל
- חילוץ נתונים לצינורות LLM
המרת תמונות של גרפים למבנה טקסטואלי שטוח כדי שמודל שפה רגיל יוכל לעבד אותן ולענות על שאלות.
- המרת דוחות ישנים לטבלאות
קריאת צילומי מסך מתוך מסמכים או מצגות והפיכת הגרפים שבהם למידע מספרי מסודר שניתן לשמור במסד נתונים.
- קריאת גרפים באוטומציה מקומית
הרצת חילוץ תרשימים על חומרה מקומית זולה בלי להסתמך על שירותי ענן של צד שלישי.
איפה זה נופל
המודל הזה לא עונה על שאלות ולא מנתח מגמות, אלא רק מחלץ טבלה. אם הטבלה שהוא יצר שגויה או פיספסה עמודה בגלל רזולוציה בעייתית, כל ניתוח שתריצו עליה בהמשך הצינור יקרוס בהתאם.
בנוסף, הכרטיס מפרט תמיכה באנגלית, צרפתית, גרמנית ורומנית, כך שתרשימים בעברית או בשפות מימין לשמאל עשויים לייצר טבלאות מבולגנות או לא מדויקות. חובה לבדוק אותו על סוגי הגרפים הספציפיים שלכם לפני שבונים עליו תהליך אוטומטי.
שאלות
נפוצות
האם המודל הזה יכול לענות ישירות על שאלות כמו מה העמודה הגבוהה ביותר?
לא. התפקיד שלו הוא רק לייצר את טבלת הנתונים הגולמית מתוך התרשים. כדי לקבל תשובה לשאלה עסקית, צריך לקחת את הטבלה שהוא פלט ולהעביר אותה למודל שפה רגיל יחד עם השאלה שלכם.
כמה משאבים צריך כדי להריץ אותו בסביבת ייצור?
המשקל הכולל של הקבצים הוא 2.1 גיגה בייט, עם 282 מיליון פרמטרים. זה אומר שהוא רץ בנוחות על כרטיסי מסך פשוטים וזולים, ואפילו על מכונות ללא מעבד גרפי ייעודי, בעומסי עבודה נמוכים עד בינוניים.
איך מריצים
עם גודל קבצים של 2.1 גיגה בייט בפורמט float32, מדובר במודל קל מאוד. אפשר להריץ אותו מקומית בלי בעיה על כמעט כל כרטיס מסך בסיסי עם מעט זיכרון ייעודי, או אפילו ישירות על מעבד רגיל דרך ספריית transformers של פייתון.
ההרצה דורשת שימוש במעבד התמונה הייעודי של Pix2Struct והזנת פרומפט טקסטואלי שמבקש לחלץ את הטבלה. אם יש לכם שרת מקומי קטן פנוי, אין סיבה לשלם ל־API חיצוני רק בשביל פעולת החילוץ הזו.
from transformers import pipeline
pipe = pipeline("visual-question-answering", model="google/deplot")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי מלא, שינוי הקוד והפצה בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים