Sujet-Finance-QA-Vision-100k
קוד פתוחsujet-aiapache-2.02024-07-01
מעל 100,000 זוגות שאלות ותשובות שמבוססים על קרוב לעשרת אלפים תמונות של מסמכים פיננסיים. פתרון ממוקד לאימון מודלי ראייה ושפה קטנים בלי לחנוק את חלון ההקשר.
- 80הורדות בחודש
- 39לייקים
מה זה
המאגר מציע מענה ישיר לבעיה שמוכרת לכל מי שניסה לאמן מודלי ראייה קטנים על מסמכים פיננסיים מורכבים. במקום לספק תיאורי ענק שדורשים חלונות הקשר רחבים ויקרים, הצוות לקח כמעט עשרת אלפים תמונות של מסמכים מסוגים שונים ופירק אותם לזוגות מוגדרים של שאלה ותשובה. הבסיס נשען על מאגר קודם של החברה בשם Sujet-Finance-Vision-10k שבו נאספו תמונות עם תיאורים מפורטים שהפיק GPT-4, ומתוכם מודל Llama-3-70B חילץ שאלות עובדתיות, ניתוחיות, השוואתיות והיפותטיות.
החלוקה הפנימית מפרידה בין אימון לבדיקה. חלק האימון כולל 9,212 תמונות עם 100,629 שאלות ותשובות, וחלק הבדיקה מכיל 589 תמונות עם 6,421 שאלות ותשובות. סך הכל מדובר על 9,801 תמונות ועל 107,050 זוגות שאלות ותשובות. כל רשומה כוללת מזהה מסמך, תיאור טקסטואלי עשיר ששימש כבסיס לחילוץ, את תמונת המסמך עצמה, ומחרוזת שאלות ותשובות בפורמט מובנה שניתן לפרק בקלות בקוד.
מתאים ל
- אימון מודלי ראייה פיננסיים
כוונון עדין של מודלי ראייה ושפה קטנים על משימות שאלות ותשובות מתוך דוחות פיננסיים.
- הערכת ביצועי VLM
בדיקת הדיוק של מודלים קיימים על סט הבדיקה שכולל מעל ששת אלפים שאלות ומסמכים.
- חילוץ נתונים השוואתי
אימון מערכות שמסוגלות להשוות נתונים ולהבין היפותזות מתוך טבלאות וגרפים פיננסיים.
איפה זה נופל
התשובות נוצרו בתהליך אוטומטי לחלוטין, תחילה עם GPT-4 ואחר כך דרך Llama 3 70B, ולכן ייתכנו מקרים שבהם התשובה לא תואמת במדויק את המידע שמופיע בתמונה עצמה. היוצרים בדקו את הנתונים ידנית וטוענים שטעויות כאלה נדירות, אך עדיין מדובר בסינתזה סינתטית ללא בדיקה אנושית מלאה של כל שורה. בנוסף, כל המסמכים באנגלית ומבוססים על עולם התוכן הפיננסי שלה, כך שאין כאן התאמה לדוחות ישראליים או לעברית, ואסור להשתמש במידע להחלטות פיננסיות בעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. המאגר מפורסם תחת רישיון apache-2.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים שיוטמעו במוצרים סגורים. הדרישה היא שמירה על הודעת זכויות היוצרים והרישיון.
האם יש במאגר מסמכים בעברית?
לא. כל המסמכים והשאלות במאגר הם באנגלית בלבד. אם המטרה היא לקרוא דוחות של חברות ישראליות או טפסים מקומיים, הנתונים כאן לא יספיקו לבדם.
איך נוצרו השאלות והתשובות?
הבסיס הוא תמונות ממאגר קודם שנותחו על ידי GPT-4. לאחר מכן הופעל מודל Llama-3-70B שיצר מגוון שאלות עובדתיות, השוואתיות ואנליטיות כדי להתאים את המידע למודלים עם חלון הקשר קטן.
באיזה פורמט המידע מגיע ואיך ניגשים אליו?
המאגר מחולק לקובצי parquet עם חלוקה מובנית לסט אימון וסט בדיקה. כל שורה מכילה אובייקט תמונה, מזהה, טקסט תיאור מלא, ומחרוזת JSON עם זוגות השאלות והתשובות.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה הרגילה של Hugging Face עם השם המלא של המאגר, בלי צורך בטופס גישה או אישור מיוחד. הנתונים שמורים בקובצי parquet שמחולקים לאימון ולבדיקה. בכל רשומה מקבלים את שדה התמונה המקורי, מזהה, טקסט תיאור עשיר, ואת שדה השאלות והתשובות. שימו לב שהשאלות והתשובות שמורות כמחרוזת JSON, ולכן צריך לפרק אותן עם json.loads לפני שמעבירים אותן לתהליך האימון של המודל.
from datasets import load_dataset
ds = load_dataset("sujet-ai/Sujet-Finance-QA-Vision-100k")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, מאפשר שינוי של הנתונים ושילוב שלהם במוצרים מסחריים, ומאפשר אימון מודלים ללא חובת פתיחת הקוד שלכם. הדרישה העיקרית היא מתן קרדיט ושמירה על תנאי הרישיון המקוריים בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים