EverythingLM-data-V2
קוד פתוחtotally-not-an-llmmit2023-08-17
אלף שיחות בין אדם לעוזר שנבנו עם GPT-4 על בסיס עקרונות של Orca ו־evol-instruct. הן נועדו לתת דוגמאות מורכבות ומפורטות לאימון מודלים קטנים יחסית.
- 55הורדות בחודש
- 30לייקים
מה זה
המאגר מכיל אלף שיחות שמחולקות לקטגוריות שונות, כולל חשיבה לוגית, כתיבה יצירתית, ידע כללי, סיעור מוחות, שאילתות חיפוש ותכנות. כל המידע בגרסה הזו נוצר ישירות על ידי GPT-4, כאשר תהליך היצירה שילב הנחיות פתיחה מגוונות יותר מהגרסה הראשונה ושימוש בפרומפטים שונים למערכת.
היוצרים ביססו את תהליך ההרחבה על שיטות של evol-instruct כדי לסבך את ההוראות, אך דילגו על השלב הזה בחלק מהמקרים כדי למנוע התאמת יתר של מודלים למשימות קשות מדי. בנוסף, הם סיננו החוצה תשובות שמכילות התאמות בטיחות וסירובים טיפוסיים של OpenAI כדי לקבל פלטים ישירים.
מתאים ל
- כוונון עדין של מודלי שפה
אימון מודלים קטנים על משימות מורכבות שמצריכות שרשרת מחשבה ותשובות מפורטות.
- שיפור כתיבה יצירתית
חשיפת מודלים לסגנונות כתיבה חופשיים ומגוונים יותר שלא כוללים סירובי בטיחות.
- שחזור תהליך היצירה
שימוש בסקריפט הפייתון המצורף כדי לבנות דאטהסטים סינתטיים חדשים בעלויות נמוכות.
איפה זה נופל
המאגר מבוסס כולו על טקסט סינתטי של GPT-4 מאוגוסט 2023, כך שכל ההטיות ואי הדיוקים של המודל הזה קיימים בפנים. אין שום תיעוד לתמיכה בעברית, וההתמקדות היא באנגלית בלבד. אלף דוגמאות זה נפח קטן מאוד, שלא יספיק לבדו לאימון מלא של מודל אלא בעיקר לכוונון עדין מאוד או לתוספת קטנה. בנוסף, הסרת הסירובים של OpenAI אומרת שהדאטהסט עלול לייצר תשובות לא מבוקרות שחייבים לבדוק ידנית לפני שמשלבים במערכת אמיתית.
אותה משפחה
EverythingLM-data יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
מבחינת המאגר עצמו הרישיון הוא MIT ומאפשר הכל, אבל התוכן נוצר כולו ב־GPT-4. תנאי השימוש של OpenAI אוסרים על אימון מודלים מתחרים, ולכן יש כאן סיכון משפטי שצריך לקחת בחשבון אם אתם בונים מודל מסחרי.
האם יש בדאטהסט תמיכה בעברית?
לא. הכרטיס והסקריפטים מתארים עבודה באנגלית בלבד, ואין שום התייחסות לשפות אחרות. אם אתם מחפשים לשפר ביצועים בעברית, תצטרכו לתרגם את הנתונים או לפנות למאגר אחר.
באיזה פורמט הנתונים מגיעים וכמה הם שוקלים?
המאגר שוקל מעט מאוד ומכיל בסך הכל אלף רשומות בקובץ JSON בפורמט אלפקה. אפשר להוריד אותו בשניות ולטעון אותו לכל תשתית אימון סטנדרטית בלי צורך בהמרות מיוחדות.
מה ההבדל בין הגרסה הזו לגרסה הראשונה של המאגר?
כל הנתונים בגרסה השנייה הופקו ישירות מ־GPT-4 במקום ממקורות קודמים. בנוסף שופרו פרומפטי הבסיס, תוקנו באגים בסקריפט ההפקה, והוחלט לוותר לפעמים על מורכבות יתר כדי למנוע התאמת יתר של מודלים.
איך טוענים
אתם יכולים לגשת לקבצים ישירות במאגר בלי לבקש אישור גישה מראש. המידע שמור בקובץ JSON במבנה המוכר של אלפקה בשם EverythingLM-data-V2-alpacaformat.json, מה שמקל מאוד על טעינה ישירה לספריות אימון בלי צורך בהמרות מורכבות. המאגר כולל גם את סקריפט הפייתון everything.py ששימש ליצירת הדאטהסט, כך שאפשר לבדוק בדיוק איך הפרומפטים הורכבו מול ה־API או להריץ אותו מחדש. מדובר בסך הכל באלף שורות טקסט, כך שזמני ההורדה והטעינה בזיכרון אפסיים.
from datasets import load_dataset
ds = load_dataset("totally-not-an-llm/EverythingLM-data-V2")הרישיון
המאגר מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי של הקוד והנתונים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, כל הנתונים נוצרו באמצעות GPT-4, ולכן שימוש במידע הזה לאימון מודלים מסחריים שמתחרים ב־OpenAI עלול להפר את תנאי השימוש שלהם עצמם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש