SuperCOT-dataset
קוד פתוחkaiokendevmit2023-04-23
המאגר מרכז דוגמאות אימון משולבות של חשיבה שלב אחר שלב עם פתרון קוד והוראות כלליות. הוא מיועד למי שרוצה לאמן מודל קטן לנמק בעיות מורכבות בלי לאסוף מקורות בעצמו.
- 47הורדות בחודש
- 46לייקים
מה זה
מדובר באוסף מסונן ומנוקה שנבנה משלושה מקורות שונים. החלק הראשון נשען על Alpaca-CoT וכולל שרשראות מחשבה מתוך QED ו־Aqua לצד דוגמאות של CodeAlpaca. החלק השני מביא קטעי קוד מתוך הפרויקט conala של neulab, והשלישי מגיע מהגרסה הנקייה של yahma עם הוראות מבוססות Alpaca GPT4.
התוכן מאורגן בקובץ filtered.json, שמכיל שילוב ישיר של הוראות, קטעי קוד ותהליכי הסבר לוגיים. הכרטיס המקורי לא מפרט את הצעדים המדויקים של הסינון שבוצע, אך המטרה היתה לחבר את המקורות הללו לאימון מודל SuperCOT-LoRA שמפורסם בנפרד.
מתאים ל
- אימון LoRA להסבר שלבי
כוונון עדין של מודלי שפה על הנחיות שדורשות שרשרת מחשבה מפורטת.
- שיפור יכולות קוד
חשיפת מודלים קטנים לדוגמאות קוד משולבות מתוך conala ו־CodeAlpaca.
- בדיקת הסברים לוגיים
הערכת היכולת של מודל קיים להתמודד עם שאלות היגיון מסוג QED ו־Aqua.
איפה זה נופל
הכרטיס כמעט לא מספק תיעוד על אופי הסינון שבוצע, ולכן קשה לדעת אילו דוגמאות הוסרו או נערכו. הנתונים מתבססים על מקורות באנגלית ומכוונים לקוד והיגיון באנגלית, כך שאין כאן התאמה לשפה העברית. בנוסף, החומרים פורסמו באפריל 2023 ומסתמכים בחלקם על פלטים של מודלים ישנים יחסית, מה שמחייב בדיקה של איכות ההסברים והקוד לפני שמשלבים אותם במערכת פעילה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי של המאגר הוא MIT, שמתיר שימוש מסחרי חופשי בקבצים עצמם. יחד עם זאת, חלק מהנתונים מבוססים על פלטים של Alpaca GPT4, ולכן תנאי השירות של ספקית המודל המקורי עשויים להגביל אימון של מודלים מתחרים. מומלץ לוודא שהשימוש המתוכנן אינו מפר את התנאים הללו לפני תחילת העבודה.
האם הדאטהסט כולל תמיכה בשפה העברית?
לא, המאגר מורכב כולו ממקורות באנגלית בלבד. המשימות עוסקות בניתוח קוד ובבעיות היגיון שנוסחו באנגלית. אם אתם זקוקים למודל שמנמק בעברית, תצטרכו לתרגם את הנתונים או להוסיף דוגמאות מקומיות משלכם.
איך הדאטהסט הזה נאסף ונערך בפועל?
היוצר איחד מספר מאגרים קיימים, ביניהם Alpaca-CoT, conala והגרסה הנקייה של Alpaca GPT4. הוא החיל תהליך סינון על הנתונים ויצר קובץ JSON בודד. מעבר לרשימת המקורות שצוינה, כרטיס המאגר אינו מפרט את הכללים המדויקים שלפיהם סוננו הדוגמאות.
מה ההבדל בין המאגר הזה לבין Alpaca המקורי?
בניגוד לאוסף ההוראות הרגיל של Alpaca, כאן שולבו דוגמאות ממוקדות של שרשראות חשיבה ופתרון בעיות קוד. השילוב נועד לעזור למודל לפרק בעיות לשלבים במקום לתת תשובה ישירה בלבד. בנוסף נעשה שימוש בגרסה מסוננת יותר של ההנחיות כדי להפחית רעש.
איך טוענים
הנתונים יושבים בקובץ filtered.json בתוך המאגר, לצד קובץ README.md. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותו, ואפשר לטעון אותו ישירות עם ספריית datasets של Hugging Face על ידי ציון המזהה kaiokendev/SuperCOT-dataset. כדאי לבדוק את מבנה השדות בתוך קובץ ה־JSON כדי לוודא התאמה לתבנית ההנחיות של המודל שלכם לפני תחילת הריצה.
from datasets import load_dataset
ds = load_dataset("kaiokendev/SuperCOT-dataset")הרישיון
המאגר מפורסם ברישיון mit, שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, הדאטהסט מורכב ממקורות שונים שכוללים מידע שנוצר באמצעות מודלים כמו GPT-4, מה שעשוי להטיל תנאי שימוש נוספים על המודל שתאמנו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש