JaGovFaqs-22k

מה זה

הנתונים מבוססים על מדורי שאלות נפוצות שנאספו ידנית מאתרי משרדי ממשלה וסוכנויות ציבוריות ביפן. כל רשומה כוללת שאלה, תשובה, קישור למקור וציון הגוף הממשלתי שמחזיק בזכויות. הטקסטים עברו במקור בדיקות של עובדי ציבור יפניים, מה שמבטיח ניסוח מדויק, תחביר מוקפד וכמעט אפס שגיאות כתיב ביפנית מקצועית.

הקובץ המרכזי מוגש בפורמט של שורות JSON ומכיל מעל עשרים אלף רשומות המיועדות ישירות למשימות מענה על שאלות. התוכן עבר המרה ידנית ומכנית ממסמכים ודפי אינטרנט של הממשל, כולל שימוש במקורות שמקורם בקובצי PDF ממשלתיים, לצד קישורים פעילים אל הכתובות המקוריות ברשת.

מתאים ל

• אימון מודלים ביפנית

  כוונון מודלים על שאלות ותשובות בניסוח רשמי ומדויק ביפנית, ללא שגיאות כתיב.

• בדיקות למערכות RAG

  בניית מאגר ידע ואימות שליפה יחד עם קישורי המקור שצורפו לכל תשובה.

• סינון בסיסי לפי נושאים

  שימוש בטקסטים עובדתיים בלבד כמו נתוני מזג אוויר ממשלתיים לתרגול ניטרלי.

איפה זה נופל

ההמרה האוטומטית מטבלאות, דיאגרמות ומסמכי PDF של הממשל לטקסט רגיל מייצרת לעיתים פסקאות קטועות שקשה להבין בלי התרשים המקורי. בנוסף, מדובר בניסוחים שמייצגים באופן מובהק את עמדות ממשלת יפן, כך שהטקסטים כוללים הטיות פוליטיות ואידיאולוגיות רשמיות. היוצר מציע לסנן החוצה קבצים שמסתיימים בסיומת PDF, או להתמקד בגופים ניטרליים יחסית כמו השירות המטאורולוגי. המאגר כולו כתוב ביפנית בלבד ואין בו מילה בעברית או באנגלית.

איך טוענים

טוענים את קובץ data.jsonl ישירות דרך ספריית הדאטהסטס הרגילה או בקריאה פשוטה בכלים שלכם. אין צורך לבקש אישור גישה מראש או להמתין למפתח. המבנה מבוסס על שדות טקסט של שאלה ותשובה, שדה המקור שכולל את כתובת הרשת, ושדה זכויות היוצרים שמציין את המשרד הממשלתי הרלוונטי. מומלץ לקרוא את כתובות המקור לפני השימוש כדי לסנן קבצים שהגיעו במקור ממסמכי PDF.

from datasets import load_dataset

ds = load_dataset("matsuxr/JaGovFaqs-22k")

הרישיון

הרישיון הוא CC-BY-4.0. תנאי השימוש הממשלתיים ביפן תואמים לרישיון זה, מה שמאפשר שימוש מסחרי, מחקר, שינוי ואימון מודלים. החובה העיקרית היא מתן קרדיט לגורם הממשלתי שמופיע בשדה זכויות היוצרים בכל רשומה.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗