webglm-qa
קוד פתוחzai-orgרישיון לא דווח2023-07-11
המאגר מרכז שאלות, תשובות ומובאות מקור ששימשו לאימון רכיב הניסוח של WebGLM. הוא מתאים למי שבונה מודל שמחזיר תשובה מגובה במקורות ולא מסתמך רק על הזיכרון שלו.
- 574הורדות בחודש
- 65לייקים
מה זה
המאגר מיועד לאימון מודלים שמייצרים תשובות מבוססות רשת, ומכיל בסך הכל כמעט 45 אלף דוגמאות שמחולקות לשלושה חלקים. החלק המרכזי לאימון כולל 43,579 רשומות, חלק הוולידציה כולל 1,000, ולמבחן נשמרו 400 רשומות בלבד. המפרסמים לא פירטו בכרטיס את שיטות הסינון המדויקות, ומפנים למאמר שלהם לגבי האופן שבו הנתונים נאספו ונבנו.
כל רשומה בנויה משלושה שדות מוגדרים. השדה question מכיל שאלה של משתמש בנושא מסוים, השדה answer מכיל את התשובה שנוצרה עבורה, והשדה references כולל רשימה של ציטוטים וקטעי מקור ששימשו בסיס לתשובה שנכתבה.
מתאים ל
- אימון מודלי RAG
לימוד מודלים להסתמך על קטעי טקסט חיצוניים שמצורפים לשאלה בעת ניסוח התשובה.
- ביסוס טענות במענה לשאלות
אימון מערכות לייצר ציטוטים מדויקים מתוך קטעי מקור במקום להמציא עובדות.
- הערכת ביצועי גנרציה
בדיקת יכולת המודל לייצר תשובות מדויקות בעזרת 400 הדוגמאות שבסט המבחן.
איפה זה נופל
הנתונים מוגבלים לשפה האנגלית בלבד, כך שאי אפשר להשתמש בהם ישירות לאימון מודל שאמור לקרוא או לענות בעברית. מעבר לכך, הכרטיס לא מציין באילו תאריכים נאסף המידע מהאינטרנט או אילו הטיות קיימות בתוכן, והוא דל מאוד בפרטים על טיב הסינון. לפני שמכניסים מודל כזה לשירות פעיל צריך לבדוק ידנית את איכות המקורות בציטוטים ולוודא שהתשובות לא כוללות עובדות מיושנות או שגויות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי. המפרסמים לא ציינו רישיון בעמוד הדאטהסט, ובמצב כזה החוק רואה בכל הזכויות כשמורות להם. שימוש מסחרי ללא רישיון מוגדר חושף אתכם לסיכונים משפטיים.
האם יש בדאטהסט תמיכה בעברית?
לא. הדאטהסט מוגדר לשפה האנגלית בלבד, וכל השאלות, התשובות והציטוטים כתובים באנגלית. כדי לעבוד בעברית תצטרכו לתרגם את הנתונים או לחפש מקור אחר.
מאיפה נאספו הנתונים ואיך סיננו אותם?
כרטיס המאגר לא מפרט את תהליך האיסוף או הסינון, ומפנה למאמר האקדמי של WebGLM. ידוע רק שהרשומות כוללות שאלות, תשובות וקטעי מקור שנועדו לאימון מחולל התשובות של המודל.
כמה דוגמאות יש בכל חלק של המאגר?
חלק האימון כולל 43,579 דוגמאות, חלק הוולידציה כולל 1,000 דוגמאות, וחלק המבחן מכיל 400 דוגמאות. הנתונים שמורים בקובצי jsonl נפרדים שניתן לטעון ישירות לקוד.
איך טוענים
הטעינה מתבצעת ישירות דרך ספריית datasets בפייתון, והקבצים שמורים בפורמט jsonl בחלוקה לתיקיות train, test ו־validation. אין צורך בבקשת גישה מיוחדת כדי למשוך את הקבצים. בעבודה על הנתונים חשוב לשים לב למבנה של references, שהוא שדה מסוג רשימה ולא מחרוזת פשוטה, לצד שדות הטקסט של השאלה והתשובה.
from datasets import load_dataset
ds = load_dataset("zai-org/webglm-qa")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין אישור מפורש להשתמש בנתונים, בטח שלא לפרויקטים מסחריים או למוצרים שיוצאים החוצה. מי שמאמן מודל על הדאטהסט הזה לוקח סיכון של הפרת זכויות יוצרים עד שהמפרסמים יבהירו את התנאים.