Verified-Camel
קוד פתוחLDJnrapache-2.02023-09-26
מאגר קטן של קצת מעל מאה דוגמאות שיחה בתחומי מדעים מדויקים, שעברו בדיקה ידנית של מומחים. הוא נועד בעיקר לחיזוק דאטהסטים קיימים ולא לאימון מלא בפני עצמו.
- 76הורדות בחודש
- 43לייקים
מה זה
המאגר מבוסס על נתונים סינתטיים שנוצרו במקור על ידי GPT-4 מתוך דאטהסטים של CamelAI בתחומי המדעים המדויקים, הטכנולוגיה, ההנדסה והמתמטיקה. מתוך החומר הזה נלקחו מעט יותר ממאה דוגמאות שנבדקו ואומתו כנכונות על ידי בודקים בעלי תואר ראשון לפחות בתחום הרלוונטי.
לפי מה שפורסם, בין שלושים לארבעים אחוז מהדוגמאות המקוריות שנבדקו נפסלו בגלל שאלות לא קוהרנטיות או שגיאות עובדתיות. מעבר לאימות המדעי, הטקסט נוקה מתשובות מתחמקות או ביטויים טיפוסיים של בינה מלאכותית, כמו התנצלויות בנוסח אני מודל שפה או התייחסויות לתאריך היעד של הידע.
מתאים ל
- תוספת איכות לדאטהסט קיים
חיזוק של מאגר שיחות קיים בכמאה דוגמאות מדעיות מדויקות שעברו סינון אנושי.
- מדגם בדיקה לתשובות מדעיות
הערכה של ביצועי מודל על שאלות מדעיות מורכבות שנבדקו בידי בעלי תואר בתחום.
- מחקר על שגיאות מידע סינתטי
בחינת ההבדלים בין פלטים גולמיים של מודלים לבין תשובות שנוקו ותוקנו ידנית.
איפה זה נופל
גודל המאגר הוא המגבלה הברורה ביותר, יש כאן בקושי מאה ומשהו רשומות, כך שאי אפשר לאמן עליו מודל מאפס אלא רק להוסיף אותו כתוספת קטנה. כל הטקסט באנגלית בלבד, ואין פה בכלל עברית. הנתונים מתמקדים אך ורק במדעים מדויקים ונסמכים על ידע סינתטי שנבדק בנקודת זמן מסוימת ב־2023, ללא כיסוי לתחומים אחרים. בנוסף, העבודה מתבססת על מתנדבים, כך שהיקף הכיסוי הנושאי מוגבל מאוד למה שהספיקו לבדוק.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי חופשי, כולל אימון מודלים. הדרישה העיקרית היא מתן קרדיט מתאים ליוצר המקורי בהתאם לתנאי הרישיון.
האם יש במאגר שאלות ותשובות בעברית?
לא, המאגר כולו באנגלית בלבד. אם המטרה היא לעבוד עם עברית, תצטרכו לתרגם את הנתונים באופן עצמאי או לחפש מקור אחר.
כמה נתונים יש בפועל בקבצים?
מדובר במאגר קטן מאוד של קצת מעל מאה דוגמאות שנשמרות בקובץ jsonl יחיד. הנפח שלו שוקל פחות ממגה בייט ואין צורך במשאבי אחסון מיוחדים כדי לעבוד איתו.
למה להשתמש בו במקום במאגרי CamelAI המקוריים?
המאגרים המקוריים הכילו טקסט סינתטי עם בין שלושים לארבעים אחוז שגיאות לפי בדיקת היוצר. כאן הנתונים סוננו ידנית על ידי בודקים עם רקע אקדמי במדעים ונוקו מביטויי מערכת של מודלי שפה.
איך טוענים
הנתונים יושבים בקובץ בודד מסוג Camel_Verified.jsonl בתוך המאגר LDJnr/Verified-Camel בהאגינג פייס. אין צורך לבקש אישור גישה מראש כדי להוריד אותו, ומשקל הקובץ זניח לחלוטין כי הוא מכיל בסך הכל מעל מאה רשומות. טוענים אותו ישירות בעזרת ספריית datasets או בקריאת קובץ ג'ייסון רגילה בפייתון, כשהמבנה מבוסס על שדות שיחה מרובת שלבים שמיועדים למשימות יצירת טקסט ומענה על שאלות.
from datasets import load_dataset
ds = load_dataset("LDJnr/Verified-Camel")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים והייחוס ליוצר המקורי. אפשר להשתמש בו כדי לאמן מודלים מסחריים בלי חובה לחשוף את המודל עצמו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים