VisRAG-Ret-Train-Synthetic-data
קוד פתוחopenbmbרישיון לא דווח2024-10-06
המאגר כולל 239,358 זוגות של שאילתות ומסמכים שנוצרו בעזרת מודל ראייה לצורך אימון שליפה חזותית. הוא פותר את הצורך בדאטה שמחבר בין שאלה לבין עמוד PDF שלם שכולל טקסט ותרשימים.
- 1,653הורדות בחודש
- 20לייקים
מה זה
הרשומות במאגר מורכבות מעמודי PDF שנסרקו מהרשת ומשאילתות סינתטיות שיוצרו עבורם על ידי GPT-4o. המבנה נועד לאמן מודלי שליפה מבוססי ראייה, כאשר הדאטה מסודר מראש באצוות של 128 דוגמאות, כך שכל אצווה מכילה נתונים שמגיעים מאותו מקור בלבד.
המקורות מחולקים לארבעה חלקים עיקריים לפי סוגי המסמכים: 20,000 עמודים של מדריכי משתמש מגוונים מאתר ManualsLib, כ־10,000 עמודי ספרי לימוד אקדמיים מאתר OpenStax, ו־10,000 עמודים של מאמרים אקדמיים מהכנסים ICML 2023 ו־NeurIPS 2023, בחלוקה שווה ביניהם. הכרטיס לא מפרט תהליכי סינון ידניים נוספים שנעשו על התוכן מעבר לדגימת המקורות הללו ויצירת השאלות.
מתאים ל
- אימון שליפה חזותית
אימון מודלים לאיתור מסמכים ועמודי PDF מורכבים ישירות מתוך תמונה על בסיס שאילתת טקסט חופשי.
- שליפת מאמרים מדעיים
התאמת מודלי חיפוש לקריאה והבנה של גרפים, טבלאות ומבנה עמוד במאמרים אקדמיים טכניים.
- חיפוש במדריכים טכניים
בניית יכולת מענה לשאלות מתוך שרטוטים והוראות הפעלה בספרי הדרכה של מוצרים.
איפה זה נופל
השאילתות כולן סינתטיות ונוצרו על ידי GPT-4o, כך שהן נוטות לסבול מניסוחים אחידים ולא בהכרח מייצגות את האופן שבו בני אדם שואלים שאלות במציאות. המקורות מוגבלים מאוד: ספרים אקדמיים, מאמרי למידת מכונה משנת 2023 ומדריכים טכניים באנגלית. אין פה עברית, אין מסמכים עסקיים יומיומיים כמו חוזים או חשבוניות, והכרטיס אינו מפרט סינון של שגיאות יצירה או עובדות שגויות בתוך השאלות שנוצרו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ כלל. המאגר פורסם ללא שדה רישיון מוגדר, מה שמשאיר את תנאי השימוש תחת זכויות יוצרים מלאות ומעורפלות. מעבר לכך, העמודים עצמם נאספו ממאמרים ומאתרי מדריכים חיצוניים בלי הסדרת זכויות קנייניות עבורם.
האם יש במאגר נתונים או שאילתות בעברית?
לא. התוכן מבוסס על ספרי לימוד באנגלית, מאמרי כנסים בינלאומיים ומדריכים שנסרקו מהרשת, והשאילתות יוצרו באנגלית בלבד. אם המערכת שלכם מיועדת לעברית, תצטרכו לתרגם את הנתונים או לייצר סט נפרד לחלוטין.
איך נוצרו השאלות והתשובות במאגר?
היוצרים אספו עמודי PDF מארבעה מקורות רשת שונים והזינו אותם למודל GPT-4o. המודל ייצר פסאודו-שאילתות שמתאימות לכל עמוד, וכך נוצרו הזוגות לאימון.
כמה קבצים כולל המאגר ואיך הם מאורגנים?
המאגר כולל 328 קבצים, מתוכם 327 קבצי parquet המכילים את הדוגמאות. הנתונים מסודרים מראש במבנה של אצוות בנות 128 רשומות המגיעות מאותו סוג מקור.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face באמצעות הפקודה load_dataset עם ציון המזהה המלא והגדרת split כ־train. המאגר ציבורי ואינו דורש אישור גישה מוקדם או טופס הרשמה, אך מדובר בהיקף גדול שמחולק ל־327 קבצי parquet שונים בתיקיית המידע לצד קובץ התיעוד.
בפועל, כדאי לקחת בחשבון את הזמן שייקח להוריד מאות קבצים כאלה ואת צריכת הזיכרון בעבודה ישירה. הנתונים מאורגנים בזוגות של שאילתות סינתטיות מול עמודי המסמכים, כאשר החלוקה הפנימית מותאמת ישירות לעבודה באצוות של 128.
from datasets import load_dataset
ds = load_dataset("openbmb/VisRAG-Ret-Train-Synthetic-data")הרישיון
היוצרים לא הגדירו רישיון בכרטיס המאגר. מבחינה חוקית, היעדר רישיון מפורש אומר שאין היתר שימוש ברור, לא לשימוש מסחרי ואפילו לא למחקר בארגון. בנוסף, המסמכים נאספו מאתרים כמו ManualsLib ומאמרי כנסים, כך שזכויות היוצרים של החומר המקורי כלל אינן שייכות ליוצרי הדאטהסט. לא הייתי בונה על זה מוצר מסחרי.