WildDoc
קוד פתוחByteDancegpl-3.02025-05-16
מאגר לבדיקת ביצועים של מודלי ראייה ושפה על מסמכים מורכבים מהעולם האמיתי. הוא מיועד למי שרוצה להבין איך המודל מתמודד עם תמונות מסמך בפועל במשימות שאלות ותשובות ויזואליות באנגלית.
- 701הורדות בחודש
- 25לייקים
מה זה
המאגר מכיל בין עשרת אלפים למאה אלף רשומות המיועדות למשימות מענה על שאלות מתוך תמונות מסמכים. המטרה המוצהרת של הפרויקט היא לבחון הבנת מסמכים בסביבות לא מעובדות, כלומר תנאי שטח אמיתיים שלא נוצרו באופן סינתטי או מושלם. החוקרים לא פירטו בכרטיס הדאטהסט מה בדיוק כוללת כל רשומה, אך הפורמט מתמקד בהערכת מודלי ראייה ושפה מול אתגרים אלה.
מבחינת מבנה הקבצים, המאגר מחולק לעשרים קבצי Parquet תחת פיצול בדיקה בלבד, מתוכם רואים רצף שמתחיל ב־test-00001 עד test-00020. אין בכרטיס פירוט לגבי קיומו של סט אימון ייעודי, מה שמדגיש שהמטרה העיקרית כאן היא מדידה והערכה ולא אימון מודלים מאפס.
הכרטיס עצמו דל במידע טכני על אופן האיסוף או שיטות הסינון שבוצעו בפועל. יוצרי המאגר מפנים למאמר האקדמי שלהם בארכייב ולעמוד הפרויקט בגיטהאב, אך בתיעוד הישיר בהאגינג פייס אין תיעוד של מקורות המסמכים, דרך תיוג השאלות והתשובות או הסינון שעברו הנתונים לפני הפרסום.
מתאים ל
- בנצ'מרק למודלי מסמכים
הרצת בדיקות השוואתיות למודלי ראייה ושפה על מסמכים באנגלית בתנאי שטח מורכבים.
- הערכת עמידות מודלים
בדיקת יכולת המודל לחלץ מידע מתוך תמונות מסמכים מטושטשות או בעלות מבנה לא אחיד.
- מחקר אקדמי בראייה ממוחשבת
שימוש בנתונים לניתוח נקודות כשל במודלי ויז'ן מודרניים במסגרת מחקרים לא מסחריים.
איפה זה נופל
הנתונים מוצעים באנגלית בלבד, כך שאין כאן שום תמיכה או ייצוג למסמכים בעברית. הכרטיס אינו מפרט הטיות, תאריכי איסוף או חלוקת נושאים, וכולל התנערות מוחלטת מאחריות לגבי דיוק התוכן ושגיאות אפשריות. בנוסף, מדובר במאגר להערכה בלבד ללא שדות אימון ברורים, כך שאי אפשר להסתמך עליו לבניית מודל ישירות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הכרטיס מציין במפורש שהשימוש מוגבל למחקר אקדמי בלבד וששימוש מסחרי אינו נתמך. מעבר לכך, הרישיון המדווח הוא GPL 3.0, שכולל דרישות שיתוף קוד נוקשות. שילוב הנתונים במוצר מסחרי מהווה סיכון משפטי ברור.
האם יש במאגר מסמכים בעברית?
לא, המאגר מתועד כשפה האנגלית בלבד. מי שמחפש לבדוק ביצועים על חוזים, קבלות או טפסים בעברית לא ימצא כאן מענה. תצטרכו לחפש מאגרים מקומיים או לאסוף דוגמאות עצמאית לצורך בדיקת שפות שמיות.
איך הנתונים נאספו ומאיפה הם הגיעו?
עמוד המאגר בהאגינג פייס לא מספק פירוט על מקורות המסמכים או על תהליך התיוג והסינון. היוצרים מפנים למאמר אקדמי שפורסם בארכייב ולעמוד גיטהאב ייעודי להסברים מעמיקים יותר. בכרטיס עצמו מופיעה רק הצהרה כללית שהנתונים נועדו לשקף מסמכים מהעולם האמיתי.
מה המשקל של הדאטהסט וכמה זמן לוקח להוריד אותו?
נפח הקבצים הכולל במגה-בייטים אינו מצוין בכרטיס, אך ידוע שהוא מכיל 22 קבצים בסך הכל. עשרים מתוכם הם קבצי Parquet שמכילים בין עשרת אלפים למאה אלף רשומות. מומלץ לוודא שיש חיבור אינטרנט יציב ונפח אחסון פנוי לפני שמתחילים בהורדה.
איך טוענים
טוענים את המידע ישירות באמצעות פקודת load_dataset הרגילה של ספריית datasets עם הנתיב ByteDance/WildDoc. הנתונים מחולקים לעשרים קבצי Parquet, ללא צורך באישור גישה ידני או מילוי טפסים. גודל הנפח המדויק אינו מצוין בעמוד, אך המבנה מבוסס Parquet שמקל על טעינה יעילה במנות.
from datasets import load_dataset
ds = load_dataset("ByteDance/WildDoc")הרישיון
הרישיון המדווח במטא-דאטה הוא GPL 3.0, אך בטקסט עצמו המחברים מציינים במפורש שהשימוש מיועד למטרות אקדמיות בלבד ואינו נתמך לשימוש מסחרי. הסתירה הזו בין רישיון קוד פתוח מגביל להגבלת שימוש מסחרי מחייבת זהירות רבה. מודל שיאומן עליו עלול להסתבך עם דרישות שיתוף זהה ומגבלות השימוש המסחרי.