RefGPT-Fact

מה זה

המאגר כולל מאה אלף שיחות שמחולקות שווה בשווה בין אנגלית לסינית, חמישים אלף לכל שפה. השיחות מבוססות על מקורות אנציקלופדיים חיצוניים, כשהגרסה האנגלית נשענת על ויקיפדיה באנגלית והגרסה הסינית על באידו באיקה. המטרה היא לייצר אינטראקציות רב שלביות שמחזיקות מידע עובדתי מהימן על בסיס הטקסטים האלה.

הכרטיס לא מפרט תהליך סינון ידני או בדיקות איכות שנעשו אחרי ההפקה, והמידע הופק באמצעות מודלים של שפה כמו GPT-3.5 או GPT-4 שהונחו על בסיס המקורות. הנתונים מחולקים לפי שפות בשני קבצים נפרדים של נתוני שיחה.

מתאים ל

• אימון צ'אטבוט עובדתי

  כוונון מודלי שיחה באנגלית או סינית למענה עקבי על שאלות ידע כללי.

• הערכת היצמדות למקור

  בדיקת היכולת של מודל לנהל דיאלוג בלי להמציא עובדות שחורגות מהטקסט.

• אימון מודלים דו לשוניים

  אימון מקביל על שיחות עובדתיות באנגלית ובסינית מאותה מתודולוגיה.

איפה זה נופל

היוצרים מציינים במפורש שהנתונים לא עברו בדיקה אנושית, ולכן אי אפשר להבטיח את הדיוק או הבטיחות שלהם. טעויות, הטעיות או הטיות שהיו קיימות במקורות בוויקיפדיה או בבאידו באיקה נכנסו ישירות לשיחות, יחד עם הטיות אפשריות של המודלים שיצרו אותן. בנוסף, אין כאן עברית בכלל, רק אנגלית וסינית. מי שבונה מוצר על בסיס המידע הזה חייב להריץ סינון ובקרת עובדות עצמאית.

אותה משפחה

RefGPT-Fact יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

טוענים את המאגר ישירות עם ספריית datasets של Hugging Face דרך המזהה Mutonix/RefGPT-Fact. אין צורך לבקש אישור גישה מראש והנתונים פתוחים להורדה. המידע שמור בקובצי parquet שמחולקים לפי שפות, אחד לאנגלית ואחד לסינית. מבנה השדות המדויק לא מתועד בכרטיס, כך שתצטרכו לקרוא שורה אחת כדי לראות את שמות העמודות שמכילות את תוכן השיחות והתורות לפני שרצים על הכל.

from datasets import load_dataset

ds = load_dataset("Mutonix/RefGPT-Fact")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף פיתוחים או מודלים שתאמנו עליו תחת אותו הרישיון, מה שמאפשר שימוש גמיש גם לפרויקטים סגורים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗