DocGenome
קוד פתוחU4Rcc-by-4.02024-07-08
מאגר מסמכים מדעיים סרוקים מ־arXiv עם קוד המקור ב־LaTeX וקשרים לוגיים בין פסקאות, תמונות ומשוואות. הוא מתאים למי שמאמן מודלים מולטי-מודאליים על מבנה עמוק של מאמרים.
- 1,115הורדות בחודש
- 19לייקים
מה זה
המאגר מבוסס על חצי מיליון מאמרים שפורסמו ב־arXiv בין השנים 2007 ל־2022, המכסים 153 תחומי ידע מדעיים. הנתונים עברו תיוג אוטומטי באמצעות צינור עיבוד בשם DocParser, ונבדקו על ידי צוות בקרת איכות ייעודי שחילק להם ציוני איכות הנמצאים בקובץ ייעודי במאגר.
כל מסמך מפורק ל־13 סוגי רכיבים שונים, כמו כותרות, פסקאות טקסט, אלגוריתמים, מקטעי קוד, טבלאות ומשוואות, לצד קוד ה־LaTeX המקורי שלהם. בנוסף למיקום החזותי, הוגדרו שישה סוגי קשרים לוגיים בין הרכיבים, כולל הפניות מפורשות והיררכיות תוכן, שמחברים בין טבלאות להסברים או בין כותרות לפסקאות שתחתיהן.
מתאים ל
- זיהוי מבנה מסמכים מדעיים
אימון מודלים לזיהוי וחילוץ של 13 סוגי רכיבים, כולל טבלאות, משוואות וקוד מתוך דפי PDF.
- מענה לשאלות מולטי-מודאלי
פיתוח מודלים לשאלות ותשובות על גבי עמודים בודדים או מאמרים שלמים תוך הסתמכות על הקשרים.
- המרה של מסמכים ל־LaTeX
בניית כלים הממירים צילומי מסמכים וטקסט מדעי חזרה לקוד מקור מובנה ב־LaTeX.
איפה זה נופל
התיוג הראשוני נעשה בצורה אוטומטית לחלוטין על ידי כלי ייעודי, ולכן עלולות להופיע שגיאות זיהוי מבניות במסמכים מורכבים. בנוסף, כל המאגר מתבסס על מאמרי arXiv באנגלית בלבד, כך שאין כאן שום ייצוג לעברית, לטקסטים הנקראים מימין לשמאל או למסמכים עסקיים ומנהליים שהמבנה שלהם שונה מהותית ממאמר אקדמי. המאגר מוגבל למאמרים עד שנת 2022, ואינו כולל פרסומים מאוחרים יותר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא cc-by-4.0 שמתיר שימוש מסחרי מלא. הדרישה המרכזית היא מתן קרדיט מתאים ליוצרים בהתאם לתנאי הרישיון. כדאי לזכור שקוד המקור מגיע ממאמרים ב־arXiv, שלחלקם עשויים להיות תנאי הפצה מקוריים משלהם.
האם הדאטהסט כולל מסמכים בעברית?
לא, המאגר מוגדר כדובר אנגלית בלבד. כל הנתונים נלקחו ממאגר המאמרים arXiv, שבו הפרסומים הם באנגלית. מודל שיאומן על המאגר הזה לא יכיר טיפוגרפיה, כיווניות או אוצר מילים בעברית.
מה מייחד אותו לעומת מאגרי מסמכים כמו DocLayNet או DocBank?
הוא כולל קשרים לוגיים מוגדרים בין רכיבים במסמך, ולא רק קופסאות תוחמות סביב טקסט. בנוסף, הוא מספק את קוד המקור המדויק ב־LaTeX עבור כל רכיב, לצד כיסוי רחב של 153 תחומים מדעיים שונים.
איך בוצע איסוף הנתונים ובקרת האיכות?
הנתונים נאספו מ־arXiv ועובדו באמצעות צינור תיוג אוטומטי שחילץ את הרכיבים והקשרים ביניהם. לאחר מכן, צוות בודקים ביצע בקרת איכות על הנתונים. תוצאות הבדיקה ודירוג האיכות של המסמכים שמורים בקובץ ייעודי בתוך המאגר.
איך טוענים
הנתונים מחולקים למספר רב של ארכיוני tar.gz לפי תחומי מחקר כמו אסטרופיזיקה, לצד סקריפט חילוץ בשם extract.sh וקבצי מטא-דטא בפורמט JSON. אין צורך באישור גישה מיוחד, מורידים ישירות דרך Hugging Face. לפני שמתחילים לפרוס את עשרות הקבצים, צריך להכין שטח אחסון מתאים, לעקוב אחרי קובץ ההוראות DETAIL_README.md, ולהשתמש בקובץ סיווג האיכות כדי לסנן דוגמאות בדירוג נמוך לפני שלב האימון.
from datasets import load_dataset
ds = load_dataset("U4R/DocGenome")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, מחקרי ושינוי של הנתונים, כל עוד מקפידים לתת קרדיט נאות ליוצרים ומציינים את השינויים שבוצעו. הרישיון אינו כופה שיתוף של מודלים שפותחו או אומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס