Doc-750K
קוד פתוחOpenGVLabmit2025-07-19
מאגר שמיועד להבנת מסמכים ארוכים במודלים מולטימודליים של שאלות ותשובות. הוא מרכז נתונים שנגזרו ממאמרים אקדמיים ומלווה בתמונות שדורשות עיבוד ויזואלי וטקסטואלי יחד.
- 1,174הורדות בחודש
- 17לייקים
מה זה
המאגר מלווה את המאמר Docopilot ועוסק בהבנת מסמכים ברמת מסמך שלם. לפי שמות הקבצים, יש כאן חלוקה לרשומות בפורמט jsonl שכוללות תצורות שונות של המידע, כמו טקסט ותמונות שזורים יחד או גרסאות מרונדרות, כולם תחת השם arxivqa באנגלית. לצד קובצי הטקסט מגיעות התמונות עצמן של המסמכים.
היוצרים לא פירטו בכרטיס איך בדיוק הם אספו או סיננו את הרשומות, ומפנים למאמר ולמאגר הקוד שלהם בגיטהאב לפרטים המלאים. מהקבצים הגלויים ברור שהחומר מבוסס על מסמכים מארכיוני מאמרים, מעודכן לסוף שנת 2024, ודורש התמודדות משולבת עם גרפיקה וטקסט אקדמי.
מתאים ל
- אימון מודלים למסמכים
לימוד מודלים מולטימודליים לענות על שאלות מתוך עמודים שלמים ותרשימים.
- הערכת ביצועי ראייה וטקסט
בדיקת היכולת של מערכות קיימות לפענח תוכן מעורב של תמונות ומלל מדעי.
- מחקר על ארכיטקטורות עיבוד
שילוב נתונים שזורים או מרונדרים לשיפור הסקת מסקנות במסמכים ארוכים.
איפה זה נופל
הכרטיס כמעט ריק ממידע ישיר ומסתיר פרטים קריטיים על אופן הסינון של הדאטה. הקבצים מעידים על תוכן באנגלית בלבד שמבוסס על מאמרים מאתר arxiv, כך שאין כאן ייצוג לעברית, למסמכים משרדיים רגילים, לחשבוניות או לטפסים מהעולם העסקי. מי שבונה מודל לשימוש כללי או למוצר מקומי יצטרך לבדוק בעצמו את טיב התשובות ואת הרלוונטיות של החומר האקדמי לעבודה שלו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, המאגר מסומן תחת רישיון MIT. המשמעות היא שמותר לבנות ולאמן מודלים לצרכים מסחריים בלי לשתף את הקוד שלכם, בתנאי שאתם שומרים על הודעת זכויות היוצרים של היוצרים המקוריים.
האם יש במאגר תמיכה בשפה העברית?
לא. שמות הקבצים והמידע מציינים במפורש כי מדובר בתוכן באנגלית (en) שמקורו במאמרים אקדמיים. אין בו מסמכים או שאלות בעברית.
כמה מקום בדיסק צריך כדי להתקין את הנתונים?
היוצרים מציינים שמדובר במאגר תמונות גדול מאוד שפוצל לקובצי ארכיון מרובים כמו z01 ו־z02. תצטרכו מספיק שטח אחסון פנוי גם להורדת הקבצים המפוצלים, גם לאיחוד שלהם לקובץ zip מלא, וגם לחילוץ של אלפי התמונות הקטנות שבפנים.
איך נאספו השאלות והתשובות?
כרטיס המאגר לא מפרט את תהליך האיסוף, הדגימה או הסינון שנעשו. הוא מפנה ישירות למאמר Docopilot ב־arXiv ולמאגר הקוד של OpenGVLab בגיטהאב כדי לקרוא על המתודולוגיה המלאה.
איך טוענים
הנתונים מחולקים ל־153 קבצים, כולל קובצי jsonl וארכיוני תמונות מפוצלים שמסתיימים בסיומות כמו z01 ועד z05. כדי לעבוד איתם בשרת לינוקס תצטרכו לאחד את קובצי ה־zip באמצעות הפקודה zip -s 0 לפני החילוץ. בנוסף, בגלל כמות הקבצים הגדולה המערכת עלולה לחסום את הפריסה כהגנת zip bomb, מה שמחייב ביטול של ההגדרה הזו ידנית, הרבה מקום פנוי בדיסק וסבלנות.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/Doc-750K")הרישיון
הרישיון של המאגר הוא MIT. הרישיון הזה מתיר שימוש מסחרי ומחקר חופשי, מאפשר שינויים והפצה, ואינו מחייב אתכם לשחרר את המודלים שתאמנו תחת אותו רישיון. כל מה שנדרש הוא לתת קרדיט ולשמור על הצהרת הרישיון המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש