riddles_v1
קוד פתוחHypersniperapache-2.02023-10-18
חידות באנגלית עם הסברים מפורקים לוגית שנוצרו על ידי GPT-4. מתאים למי שרוצה לאמן מודל להסביר את דרך הפתרון שלו ולא רק לזרוק תשובה סופית.
- 3,256הורדות בחודש
- 18לייקים
מה זה
המאגר כולל חידות מילוליות ותשובות שמפורקות להסבר לוגי מודרך. הרעיון היה לקחת שאלות קיימות, להזין ל־GPT-4 את התשובה הנכונה מראש, ולבקש ממנו להסביר את הפתרון שלב אחרי שלב כאילו הוא מגיע אליו לבד. הפרומפט דרש ממנו לנמק את הבחירה, לספק תובנות לימודיות ולסדר את הטיעונים ברצף הגיוני בלי להסגיר שהוא כבר יודע את הפתרון.
התוכן מחולק לשני קבצים נפרדים. הקובץ הראשון מכיל 386 דוגמאות שנלקחו ממאגר גיטהאב של משתמש בשם crawsome. הקובץ השני קטן בהרבה וכולל 83 דוגמאות שנאספו מחיפושים שונים בגוגל. בסך הכל יש כאן 469 רשומות בלבד, כך שלא מדובר במאגר ענק אלא באוסף ממוקד שמיועד בעיקר לניסויי כוונון עדין נקודתיים.
מתאים ל
- אימון מודל לחשיבה מנומקת
כוונון מודלים קטנים כך שיציגו פירוק הגיוני ושלבי חשיבה לפני מתן תשובה סופית.
- בדיקת יכולת פתרון חידות
הרצת מבחני השוואה לבדיקה אם מודל מזהה את ההיגיון שמאחורי שאלות מכשילות.
- יצירת דוגמאות להנחיה
שימוש ברשומות כדוגמאות לפרומפטים שדורשים הסבר מעמיק של בעיות מילוליות.
איפה זה נופל
גודל המאגר הוא המגבלה הבולטת ביותר. 469 דוגמאות לא יספיקו לאימון רחב היקף, אלא בעיקר לכוונון עדין קצרצר, כמו הניסוי שביצע היוצר על מודל פתוח למשך אפוק בודד. בנוסף, כל הנתונים באנגלית בלבד ואין כאן עברית כלל. התשובות והנימוקים סונתזו באופן מלאכותי באמצעות GPT-4 בהתבסס על מקורות רשת שלא עברו בקרת איכות קפדנית, ולכן חשוב לבדוק את אמינות ההסברים לפני שמסתמכים עליהם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא apache-2.0 ומאפשר שימוש מסחרי חופשי. עליכם לכלול את תנאי הרישיון ואת הצהרת זכויות היוצרים של היוצר. אין דרישה לפרסם את המודלים שתאמנו או את תוצרי הפיתוח.
האם יש במאגר נתונים בעברית?
לא, כל החידות וההסברים כתובים באנגלית בלבד. אם המטרה היא מודל שמנמק בעברית, תצטרכו לתרגם את הנתונים או לייצר מאגר מקומי מקביל. שימוש בחומר הזה כפי שהוא ישפר יכולות באנגלית בלבד.
מאיפה הגיעו הנתונים של החידות?
החלק העיקרי כולל 386 שאלות ממאגר גיטהאב פתוח של משתמש בשם crawsome. שאר 83 השאלות נאספו מחיפושים חופשיים בגוגל. כל ההסברים המפורטים הופקו לאחר מכן באמצעות פרומפט ייעודי ל־GPT-4.
כמה המאגר שוקל וכמה דוגמאות יש בו?
המאגר קטן מאוד ומכיל 469 דוגמאות בסך הכל שמחולקות לשני קובצי JSON. המשקל הכולל של הקבצים אפסי ואינו דורש תשתית אחסון מיוחדת. אפשר להוריד ולטעון אותו ישירות בכל סביבת פיתוח בסיסית.
איך טוענים
טוענים את הקבצים ישירות כקובצי JSON מתוך המאגר, שמכיל בסך הכל ארבעה קבצים כולל התיעוד. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. המבנה מבוסס על שאלות, פתרונות מנומקים שיצר המודל והתשובות הנכונות המקוריות. בגלל שמדובר במאות בודדות של רשומות, הקבצים שוקלים מעט מאוד ונטענים לזיכרון בשבריר שנייה בלי דרישות חומרה מיוחדות.
from datasets import load_dataset
ds = load_dataset("Hypersniper/riddles_v1")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד שומרים על הודעת זכויות היוצרים והצהרת הרישיון המקורית. אין חובה לשתף נגזרות תחת אותו הרישיון, ואפשר להשתמש בחומר כדי לאמן מודלים פנימיים או מסחריים בלי לחשוף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים