CulturalGround
קוד פתוחneulabapache-2.02025-07-25
מאגר ענק של שאלות ותשובות ויזואליות שמתמקד בידע תרבותי מקומי מעשרות מדינות. הוא מיועד למי שרוצה למנוע ממודלי ראייה ושפה להישאר עיוורים לתרבויות שאינן אמריקאיות.
- 2,592הורדות בחודש
- 20לייקים
מה זה
הנתונים נשענים על זיהוי ישויות תרבותיות מוויקינתונים, איסוף של בין תמונה אחת לשלוש לכל ישות מוויקישיתוף, ויצירת צמדי שאלה ותשובה על בסיס 76 מאפיינים תרבותיים. השאלות נוצרו בתבניות קבועות ועברו שכתוב במודל שפה כדי להישמע טבעיות.
המבנה מחולק לארבעה חלקים עיקריים. יש שאלות פתוחות בגרסה מלאה של 22 מיליון רשומות, וגרסה מסוננת ונקייה יותר שעברה בקרת איכות באמצעות מודל ראייה ושפה וכוללת 14 מיליון רשומות. לצד אלה יש שאלות אמריקאיות ושאלות נכון או לא נכון, עם 8 מיליון רשומות בגרסה הגולמית ו־6 מיליון בגרסה המסוננת.
בסך הכל המאגר מקיף 42 מדינות ו־39 שפות. החלוקה הפנימית כוללת גם קובצי מתכונים וישויות מועשרות לפי מדינה בפורמט jsonl.
מתאים ל
- אימון ראייה ושפה רב לשוני
לימוד מודלים לזהות פריטים ומנהגים מקומיים על בסיס שאלות פתוחות בתמונות.
- מבחני ידע תרבותי
בדיקת יכולת של מודלים לענות על שאלות רב ברירה אודות ישויות במדינות שונות.
- כיוונון עדין לשפה העברית
שיפור ההבנה של שאלות ראייה בעברית באמצעות עשרות אלפי דוגמאות מקומיות.
איפה זה נופל
למרות השאיפה לכיסוי גלובלי, יש כאן הטיה מובהקת למערב אירופה. גרמניה וצרפת מחזיקות מיליוני שאלות ומאות אלפי ישויות, בעוד מדינות כמו רואנדה, אתיופיה או ערב הסעודית מקבלות שבריר מזה. אותה בעיה קיימת בשפות, כשהאנגלית, הצרפתית והגרמנית מובילות בפער עצום.
איכות הנתונים מסתמכת על יצירה אוטומטית של מודלי שפה וסינון של מודלי ראייה, כך שטעויות הזיהוי מוויקינתונים והזיות של מודלים עדיין חודרות פנימה. בנוסף, חובה לזכור שהתמונות עצמן מגיעות מוויקישיתוף, ולכן צריך לבדוק את התאמתן בפועל לפני שמסתמכים על המידע במערכות קריטיות.
שאלות
נפוצות
האם המאגר כולל עברית?
כן, המאגר מכיל נתונים בעברית בהיקף של מעל מאתיים אלף שאלות פתוחות גולמיות, ומעל שבעים אלף שאלות רב ברירה מסוננות. בנוסף יש חיתוך נתונים ייעודי לישראל שכולל כמעט עשרים אלף ישויות ועשרות אלפי תמונות.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
רישיון המאגר המדווח הוא apache-2.0, שמאפשר שימוש מסחרי מלא והטמעה במוצרים. צריך לשמור על הודעות זכויות היוצרים והייחוס ליוצרים המקוריים. לגבי התמונות שנאספו מוויקישיתוף, מומלץ לוודא את הרישיונות הנקודתיים של קובצי המקור.
איך בנו את השאלות והתשובות?
הצוות שלף ישויות מתוך ויקינתונים וקישר אותן לתמונות מוויקישיתוף. לאחר מכן הם בנו תבניות לשאלות לפי 76 מאפיינים תרבותיים, ועידנו את הניסוחים באמצעות מודל שפה. בחלק המסונן, מודל ראייה ושפה בדק שהשאלות מתאימות לתמונות וסינן רעשים.
באיזה פורמט המידע מגיע?
השאלות והתשובות מגיעות בקובצי json גדולים, חלקם מחולקים לפי רמת סינון וסוג שאלות. התמונות לא יושבות כקובץ אחד ענק אלא מחולקות לקובצי tar.gz דחוסים לפי מדינה, מה שמאפשר להוריד רק אזורים מסוימים.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. הטקסט יושב בקובצי json ו־jsonl גדולים, בעוד התמונות ארוזות בקובצי tar.gz נפרדים לכל מדינה, כמו למשל ארכיון ייעודי לגרמניה. מורידים אותם באמצעות huggingface-cli ומחלצים מקומית. בגלל שמדובר במאות קבצים ובמיליוני רשומות, כדאי להוריד מראש רק את המדינות והשפות הרלוונטיות לפרויקט במקום למשוך את כל המאגר.
from datasets import load_dataset
ds = load_dataset("neulab/CulturalGround")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי של המידע והפצה שלו, ואינו דורש שיתוף תחת אותו רישיון. תנאי הבסיס הוא מתן קרדיט ושמירה על הצהרת הרישיון המקורית. עם זאת, התמונות נאספו מוויקישיתוף, ולחלקן עשויים להיות תנאי רישיון פרטניים משלהן ברמת היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים