deplot_plus_llm

מה זה

אתם מעלים תמונת גרף וכותבים שאלה או הנחיה לגבי המידע שמופיע בה. בתמורה, מקבלים תשובה מנומקת בטקסט, יחד עם אפשרות לפתוח חלונית נסתרת שמציגה את טבלת הנתונים הגולמית שהופקה מהתמונה לפני שהועברה לניתוח.

מאחורי הקלעים פועל המודל DePlot של גוגל, שממיר את התרשים לרצף טקסטואלי של נתונים וטבלאות. משם, הטקסט מועבר כקלט לשפת מודל כדי לבצע חשיבה בשלבים ולענות על השאלה. בממשק יש בחירה בין flan-ul2 לבין gpt-3.5-turbo, כשתמיכה ישנה יותר ב־alpaca-lora מופיעה בקוד אך מנוטרלת.

מתאים ל

• מענה על שאלות מגרפים

  מעלים תרשים, שואלים מה המגמה או הערך הגבוה ביותר ומקבלים תשובה מנומקת.

• חילוץ טבלה מאיור

  המרת תמונת גרף פשוטה לייצוג טקסטואלי של טבלה דרך תיבת המידע המתווכת.

• סיכום נתונים חזותיים

  בקשת סיכום קצר על ממצאי תרשים בלי להקליד ידנית את הנתונים המספריים.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה נמצאת במצב שגיאת ריצה ואינה עובדת. מעבר לזה, אם DePlot שוגה בפענוח הנתונים מהגרף והופך אותם לטבלה שגויה, מודל השפה יבנה את התשובה על בסיס מידע מוטעה לחלוטין. במקרים כאלה חובה לבדוק תמיד את הטבלה המתווכת לפני שמסתמכים על התשובה.

איך משתמשים

טוענים תמונה של גרף או בוחרים מתוך הדוגמאות המוכנות, מקלידים שאלה בתיבה, בוחרים מודל שפה ולוחצים Submit. אם בוחרים להשתמש ב־gpt-3.5-turbo, צריך להזין מפתח API אישי של OpenAI בתיבה הייעודית.

האפליקציה מוגדרת לרוץ על חומרת zero-a10g, אך נכון לעכשיו המצב שלה מדווח שגיאת ריצה, כך שהיא מושבתת בדפדפן ולא תעבד בקשות חדשות.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה עצמאית. לגבי התמונות שמעלים והטקסט שנוצר, השימוש כפוף לתנאי השימוש של ממשקי המודלים המעורבים, ובמיוחד OpenAI אם בוחרים להזין מפתח אישי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗