Nemotron-Personas-Belgium
קוד פתוחnvidiacc-by-4.02026-06-17
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר כולל פרופילים סינתטיים של אזרחים בלגים שנבנו על בסיס נתוני מפקד אוכלוסין רשמיים. הוא נועד לספק פרסונות מגוונות ורב לשוניות ליצירת דאטה סינתטי ואימון שיחות.
- 436הורדות בחודש
- 34לייקים
מה זה
הרשומות במאגר מייצגות פרסונות מלאכותיות שמיושרות לפי נתוני מפקד האוכלוסין של בלגיה משנת 2021 שפורסמו על ידי Statbel, בתוספת סטטיסטיקות שמות ודמוגרפיה עדכניות יותר. הפרופילים מכסים את כל שלושת המחוזות, ארבעת אזורי השפה וכל 581 הרשויות המקומיות במדינה. כל פרסונה כוללת מאפיינים דמוגרפיים כמו מין, גיל מעל שמונה עשרה, מצב משפחתי, הרכב משק בית, השכלה, תעסוקה ומיקום גיאוגרפי.
התוכן נוצר בשיתוף פעולה בין Nvidia, Pleias וארגון KU Leuven, תוך שימוש במערכת NeMo Data Designer. המערכת שילבה מודל הסתברותי גרפי עם מודל השפה gemma-4-31B-it ומערך בודקים ייעודי. כל פרסונה מופיעה במאגר כשהיא מתורגמת במלואה לארבע שפות: הולנדית, צרפתית, גרמנית ואנגלית, כאשר הנתונים מחולקים בהתאם לקובצי שפה שונים.
מתאים ל
- ייצור שיחות מרובות תורות
סימולציה של שיחות צ'אט מגוונות שמבוססות על רקע תרבותי, שפתי והשכלתי בלגי אמין.
- אימון מודלים רב לשוניים
אימון מערכות שפה בצרפתית, הולנדית, גרמנית ואנגלית על גבי פרסונות תואמות אזורית.
- הפחתת הטיה בדאטה סינתטי
איזון דגימות נתונים סינתטיים לפי התפלגות דמוגרפית וגיאוגרפית אמיתית למניעת קריסת מודל.
איפה זה נופל
הנתונים סינתטיים לחלוטין ואינם מכילים שמות של אנשים, נתוני הכנסה, תכונות אישיות או משתני ביניים כמו מוצא שמות. המאגר אינו מתאים למי שמחפש פרסונות לעולמות עסקיים ממוקדים כמו פיננסים או בריאות, שכן אלה הוחרגו מראש. בנוסף, המאגר מתמקד אך ורק באוכלוסייה בוגרת מגיל 18 ומעלה, מוגבל על ידי מידת העדכניות של מפקד 2021, ואינו כולל עברית כלל אלא רק את ארבע השפות הרשמיות והאירופיות שהוגדרו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצרים מסחריים?
כן. המאגר זמין תחת רישיון CC BY 4.0 והיוצרים מציינים במפורש שהוא מוכן לשימוש מסחרי. עליכם רק לציין קרדיט כנדרש בתנאי הרישיון.
האם יש במאגר נתונים בעברית?
לא. המאגר ממוקד באוכלוסיית בלגיה וכולל תרגום מלא לארבע שפות בלבד: הולנדית, צרפתית, גרמנית ואנגלית.
כיצד נוצרו הפרופילים במאגר?
הנתונים הם סינתטיים ונבנו בעזרת מודל הסתברותי גרפי ומודל השפה gemma-4-31B-it בתוך מערכת NeMo Data Designer. הבסיס לסטטיסטיקה מגיע מנתוני מפקד האוכלוסין הבלגי הרשמי מ־2021.
מה חסר בפרסונות האלו לעומת נתונים מלאים?
אין במאגר שמות פרטיים, גובה הכנסה, תכונות אישיות או התמחויות עסקיות כמו פיננסים ורפואה. מדובר בפרופילים דמוגרפיים רחבים ולא בכרטיסי לקוח מלאים.
איך טוענים
הנתונים מחולקים לקובצי Parquet לפי שפות: nl_BE, fr_BE, de_BE ו־en_BE, לצד קובצי תמונות של התפלגויות. הגישה למאגר פתוחה לחלוטין ואינה דורשת אישור מוקדם או מילוי טפסים. טוענים את הקבצים ישירות באמצעות ספריית datasets או כלי קריאת Parquet סטנדרטיים. השדות המרכזיים בנתונים עוסקים במאפיינים דמוגרפיים, אזור גיאוגרפי וטקסט הפרסונה המתורגם, כאשר היקף המאגר נע בין מיליון לעשרה מיליון רשומות.
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Belgium")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution 4.0 International. הרישיון מאפשר שימוש מסחרי מלא, שינוי והפצה של המידע ושל מודלים שאומנו עליו. החובה היחידה היא מתן קרדיט וייחוס מתאים ליוצרים, ללא דרישה לשתף תוצרי המשך תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס