ChartGemma

מה זה

מזינים פנימה שני דברים: קובץ תמונה של גרף או תרשים, ושאלת טקסט חופשית. בתמורה מקבלים תיבת טקסט עם התשובה של המודל, כמו הסבר על מגמה או חילוץ מידע ספציפי מתוך התצוגה הוויזואלית.

מאחורי הממשק רץ המודל ahmed-masry/chartgemma, שמבוסס על הארכיטקטורה של PaliGemma ומכוון ישירות לקריאת תרשימים. הדוגמה המובנית בקוד מציגה גרף של שיעורי תמותת ילדים עד גיל 5 עם בקשה לתאר את המגמה, כך שאפשר לראות איך המערכת מחברת בין תמונה לטקסט.

מתאים ל

• תיאור מגמות בגרף

  מבקשים מהמודל לסכם במילים אם מגמה מסוימת נמצאת בעלייה או בירידה לאורך זמן.

• שליפת נקודות מידע

  שואלים שאלה נקודתית על ערך או קטגוריה מסוימת שמופיעים בצירים של התרשים.

• בדיקת יכולות המודל

  מריצים בדיקות על מודל ChartGemma כדי להחליט אם לשלב אותו בפיתוח עצמאי.

איפה זה נופל

המודל מדבר ומבין אנגלית, כך שאין מה לצפות ממנו לקרוא תרשימים עם תוויות בעברית או לענות בשפה מקומית. לא מדובר בכלי אקסל שמייצא נתונים מספריים נקיים ל־CSV, אלא במודל שפה שמייצר תיאור טקסטואלי ולכן הוא עלול להמציא ערכים מדויקים כשמדובר בגרפים צפופים מדי.

איך משתמשים

גוררים תמונה לשדה המתאים, כותבים שאלה ולוחצים על כפתור ההרצה, או פשוט מקליקים על הדוגמה המוכנה. הממשק פתוח ישירות בדפדפן בלי צורך בחשבון או התחברות.

הקוד משתמש במודול spaces ורץ על חומרת zero-a10g, מה שאומר שהמאיץ הגרפי נדלק לפי דרישה. העיבוד עצמו מהיר ברגע שהחומרה מוקצית, אבל עשוי להיות עיכוב קצרצר של שניות בודדות אם המאיץ היה במצב שינה לפני הלחיצה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי למדי בקוד, כולל עריכה והרצה פרטית. לגבי התמונות שאתם מעלים לממשק הרשת, הן עוברות דרך השרת של Hugging Face, כך שלא מומלץ להעלות לשם גרפים רגישים או נתונים עסקיים פנימיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗