vdr-multilingual-train

מה זה

המאגר מכיל 496,167 עמודי PDF שנאספו מהרשת הציבורית לפי חיפושי נושאים, סביב כ־50,000 מסמכים בסך הכל. במקום לדגום עמודים באקראי, מודל ניתוח מבנה סיווג כל עמוד כטקסט בלבד, ויזואלי בלבד או מעורב, כדי להבטיח פיזור מאוזן. השאלות נוצרו באמצעות Gemini 1.5 Pro ו־Qwen2-VL-72B, שנדרשו לייצר שאלה ספציפית ושאלה כללית לכל עמוד.

הסינון היה אגרסיבי. השאלות נוקו מביטויים מסגירים כמו 'לפי תמונה 1' ומסימני מרקדאון, ואז אומתו מול שאילתות רחבות בעזרת מודל האמבדינג voyage-3. התהליך הזה העיף כ־40% מהשאלות הדומות או החלשות מדי. נשארו 280,679 שאלות מסוננות, אבל כל שאר העמודים שלא נותרה להם שאלה עדיין שמורים במאגר ומשמשים כדוגמאות שליליות קשות. החלוקה שווה למדי בין חמש השפות: אנגלית, ספרדית, איטלקית, גרמנית וצרפתית, בכל אחת בין 53 ל־58 אלף שאלות מסוננות.

מתאים ל

• אימון מודלי אחזור ויזואלי

  אימון מודלים מולטימודליים לאחזור עמודים מתוך קובצי מסמכים ישירות מתמונה, ללא צורך במערכת OCR מקדימה.

• כריית דוגמאות שליליות קשות

  שימוש ברשימת השליליים המובנית והממוינת לפי מרחק כדי לחדד לוס קונטרסטיבי במודלי אמבדינג.

• הערכת ביצועים רב לשונית

  בדיקת יכולת המודל להתמודד עם שאילתות ומסמכים מורכבים בגרמנית, צרפתית, ספרדית, איטלקית ואנגלית.

איפה זה נופל

אין כאן עברית בכלל. המאגר מוגבל לחמש שפות בלבד, כולן אירופיות ונכתבות משמאל לימין. אם אתם בונים מנוע מסמכים מקומי, הוא לא ייתן לכם מענה ישיר לשפה שלכם.

מעבר לזה, כל השאלות סינתטיות לחלוטין ונוצרו על ידי מודלים גדולים. הן לא משקפות בהכרח שגיאות ניסוח, קצרנות או סגנון חיפוש של משתמשים אמיתיים בבשר ודם. הנתונים נשענים על קובצי PDF פומביים שנסרקו מהרשת ללא פירוט על תחומי התוכן המדויקים, ואי אפשר לדעת מראש אם יש שם חומרים עם זכויות יוצרים של צד שלישי שחמקו פנימה או מידע רגיש.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה של Hugging Face, ואין צורך לבקש אישור גישה מראש. הנתונים שמורים בקובצי Parquet, בסך הכל 105 קבצים במאגר, ומחולקים לתתי סטים נפרדים לכל שפה (en, es, it, de, fr). כדאי לטעון רק את השפה שאתם צריכים כדי לחסוך זמן ורוחב פס.

הסכמה כוללת חמישה שדות: מזהה התמונה (id), השאילתה (query), התמונה עצמה (image), מערך של מזהי דוגמאות שליליות שממוינות לפי מרחק (negatives), ושפת המסמך (language). שימו לב שהשורות בסוף כל קובץ מגיעות ללא שאילתה וללא שליליים, כי הן משמשות רק כדוגמאות שליליות עבור רשומות אחרות.

from datasets import load_dataset

ds = load_dataset("llamaindex/vdr-multilingual-train")

הרישיון

המאגר מפורסם תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את הקוד או את המודל שתאמנו תחת אותו רישיון. החובה העיקרית היא לכלול עותק של הרישיון והודעת ייחוס למפתחים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗