goat
קוד פתוחtiedongapache-2.02023-05-25
בערך 1.7 מיליון דוגמאות סינתטיות שנוצרו לתרגול משימות חשבון. אם המודל שלכם מתקשה בחישובים אריתמטיים בסיסיים, זה מאגר ממוקד שנבנה בדיוק בשביל לנסות לפתור את הבעיה הזו.
- 277הורדות בחודש
- 37לייקים
מה זה
המאגר כולל קובץ מרכזי יחיד בשם dataset.json שמחזיק כ־1.7 מיליון רשומות סינתטיות. הנתונים מיועדים למשימות של מענה על שאלות, ספציפית בעיות חשבון ואריתמטיקה. הם לא נאספו מהאינטרנט ולא נכתבו בידי אנשים, אלא נוצרו באופן ממוחשב דרך קובץ מחברת בשם dataset.ipynb שנמצא במאגר עצמו לצד הנתונים.
כרטיס התיעוד הרשמי ריק כמעט לחלוטין ולא מספק שום פירוט על מבנה הרשומות, השדות הספציפיים, או החלוקה הפנימית לחלקי אימון, בדיקה ואימות. אין מידע על פעולות החשבון המדויקות שנכללות בפנים, טווחי המספרים, או הדרך שבה השאלות מנוסחות מעבר לעובדה שמדובר במידע סינתטי שנוצר בסקריפט.
המפרסם לא ציין שום תהליך של סינון או בקרת איכות ידנית. אתם מקבלים פלט ישיר של סקריפט יצירה, וזה אומר שכל הנחה לגבי איכות הדוגמאות, המגוון שלהן או חלוקת הנתונים דורשת בדיקה עצמאית בקוד לפני שמתחילים לעבוד איתו.
מתאים ל
- אימון מודלים על חשבון
שיפור היכולת של מודלי שפה לבצע פעולות אריתמטיות באמצעות 1.7 מיליון דוגמאות ייעודיות.
- בדיקת יכולות חישוב
הערכת הדיוק של מודל קיים על שאלות ותשובות חשבוניות שנוצרו בסקריפט.
- שחזור תהליך היצירה
הרצת dataset.ipynb כדי לייצר דוגמאות נוספות או להתאים את טווחי המספרים לצרכים שלכם.
איפה זה נופל
הבעיה המרכזית היא חוסר תיעוד מוחלט. הכרטיס לא מציין באילו פעולות חשבון מדובר, מה טווח הספרות, והאם יש מגוון ניסוחים או תבנית אחת שחוזרת על עצמה. המידע כולו סינתטי ומסומן באנגלית בלבד, כך שאין כאן עברית כלל. מאגר שנבנה במאי 2023 ומכיל מיליון וחצי תרגילים גנריים עלול לגרום למודל לשנן דפוסים נוקשים של חישוב במקום לפתח הבנה אמיתית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא apache-2.0, והוא מאפשר שימוש מסחרי מלא. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שאתם מפיצים.
האם יש במאגר נתונים בעברית?
לא. השפה היחידה שמוגדרת במאגר היא אנגלית. מכיוון שמדובר בתרגילי חשבון סינתטיים, חלק גדול מהתוכן הוא כנראה מספרים ונוסחאות, אך שאלות המלל אינן בעברית.
איך נאספו הנתונים?
הם לא נאספו ממקור קיים. כל 1.7 מיליון הרשומות נוצרו באופן סינתטי באמצעות סקריפט פייתון ששמור במאגר תחת השם dataset.ipynb.
האם יש חלוקה מובנית לסט אימון וסט בדיקה?
הכרטיס לא מציין שום חלוקה כזו וכל המידע מרוכז בקובץ dataset.json יחיד. תצטרכו להפריד בעצמכם חלק מהרשומות לטובת בדיקה לפני שאתם מתחילים באימון.
איך טוענים
הקובץ dataset.json יושב ישירות במאגר הציבורי בהאגינג פייס, ללא צורך בהרשאה מיוחדת או אישור גישה מראש. אפשר למשוך אותו דרך ספריית datasets או להוריד ישירות את קובץ ה־JSON ולטעון אותו בפייתון. במאגר יש בסך הכל ארבעה קבצים, והקוד שיצר את הנתונים שמור בתוך dataset.ipynb, כך שתוכלו לפתוח אותו כדי להבין את מבנה השדות והפורמט המדויק של כל רשומה.
from datasets import load_dataset
ds = load_dataset("tiedong/goat")הרישיון
המאגר מוגדר תחת רישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בכפוף למתן קרדיט מתאים ושמירה על תנאי הרישיון המקורי. השימוש בו אינו כופה עליכם לשחרר את המודלים שתאמנו עליו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים