SynthChartNet

מה זה

המאגר כולל 1,981,157 דוגמאות שנוצרו במיוחד לאימון המודל SmolDocling בהבנת מסמכים ותרשימים. כל רשומה מורכבת מתמונת גרף ומחרוזת טקסט שמכילה קואורדינטות מיקום וייצוג מובנה של המידע בפורמט OTSL. אין כאן חלוקה לסט בדיקה או תיקוף, כל הדוגמאות מרוכזות בחלק אחד המיועד לאימון בלבד.

התרשימים לא נסרקו ממסמכים אמיתיים אלא רונדרו באופן מלאכותי ברזולוציה של 120 DPI. המפתחים השתמשו בשלוש ספריות פייתון שונות, Matplotlib, Seaborn ו־Pyecharts, כדי לייצר מגוון רחב של סגנונות חזותיים, צבעים ופריסות דף. סוגי הגרפים כוללים תרשימי עמודות, עמודות מוערמות, גרפי קווים ותרשימי עוגה.

מתאים ל

• אימון חילוץ נתונים מגרפים

  לימוד מודלי ראייה להמיר תמונות של גרפי עמודות וקווים לטבלאות נתונים מובנות בפורמט OTSL.

• איתור תרשימים במסמכים

  זיהוי מיקום הגרף בעמוד באמצעות תגיות הקואורדינטות המצורפות לכל דוגמה במאגר.

• הערכת עמידות של OCR

  בדיקת היכולת של מודלים להתמודד עם עיצובים שונים שנוצרו בספריות ויזואליזציה נפוצות.

איפה זה נופל

כל הנתונים סינתטיים לחלוטין ורונדרו בספריות קוד, כך שהם לא כוללים לכלוך סריקה, עיוותי צילום, פונטים מוזרים או גרפים מורכבים בעבודת יד שנפוצים בדוחות אמיתיים. בנוסף, הכרטיס לא מדווח על תמיכה בשפות שאינן אנגלית, ותרשימים עם כיתוב בעברית מימין לשמאל ייכשלו בסבירות גבוהה. אין כאן סוגי תרשימים מתקדמים כמו היסטוגרמות מורכבות, מפות חום או גרפי פיזור.

איך טוענים

המאגר מבוסס על 136 קובצי Parquet שונים שמחזיקים את כל המידע והתמונות, כך שטעינה ישירה דורשת רוחב פס רציני ונפח אחסון פנוי. הגישה חופשית לגמרי ואין צורך לבקש אישור מוקדם כדי להוריד. בכל שורה תמצאו את עמודת התמונות images ואת עמודת texts, שמחזיקה שיחה מובנית עם תגיות מיקום וייצוג ה־OTSL תחת תפקיד ה־assistant.

from datasets import load_dataset

ds = load_dataset("docling-project/SynthChartNet")

הרישיון

הרישיון הוא cdla-permissive-2.0, רישיון מתירני שמאפשר שימוש מסחרי מלא, שינוי של הנתונים ושיתוף שלהם. הרישיון דורש שמירה על הודעת הרישיון המקורית לצד הנתונים, אך הוא אינו מחייב אתכם לחשוף את המודל שאמנתם או לפתוח את הקוד שלכם.

הרישיון המלא ב־Hugging Face ↗