EverythingLM-data-V3
קוד פתוחtotally-not-an-llmmit2023-09-08
זהו אוסף ממוקד של הנחיות מגוונות שנבנה בשיטות מתקדמות עבור אימון מודלי שיחה. הוא מתאים למי שמחפש דוגמאות איכותיות ומורכבות בלי להוריד עשרות ג'יגה של מידע גולמי.
- 70הורדות בחודש
- 32לייקים
מה זה
המאגר כולל בערך 1,100 שלשות של הנחיית מערכת, קלט משתמש ותשובת עוזר, שנבנו כדי לדמות שיחות מורכבות במגוון רחב של נושאים. המידע נוצר בצורה סינתטית בהשראת עקרונות מ־evol-instruct ו־Orca, גישות שמטרתן לקחת הוראות בסיסיות ולשכתב אותן לרמות קושי וחשיבה גבוהות יותר.
בגרסה הזו המפתחים השתמשו בגרסת מרץ של GPT-4 במקום בגרסאות מאוחרות יותר, וכיוונו את הטמפרטורה בצורה דינמית בהתאם למשימה. הם הוסיפו שמונה קטגוריות חדשות, שילבו רמזי קריאות של Flesch, הגדילו את כמות הנתונים בכעשרה אחוזים לעומת גרסה שתיים, והעבירו את התוצרים סינון נוסף כדי לנפות פלטים פגומים.
מתאים ל
- כוונון עדין למודל שיחה
תוספת של דוגמאות מורכבות למודל שכבר עבר אימון בסיסי, כדי לשפר את יכולת ההתמודדות שלו עם הנחיות מערכת.
- הערכת עמידה בהנחיות
בדיקה של מודלים קיימים מול שלשות קלט מגוונות, כדי למדוד עד כמה הם נשמעים להגדרות התפקיד שנמסרו להם.
- ניסויי ייצור נתונים
בחינת ההשפעה של עקרונות evol-instruct וטמפרטורה דינמית על איכות הפלטים במשימות יצירת תוכן שונות.
איפה זה נופל
מדובר בכמות זעירה של כאלף ומאה רשומות, כך שזה לא בסיס מספק לאימון מודל מאפס אלא לכל היותר לכוונון עדין מאוד ספציפי. המידע נוצר במלואו על ידי GPT-4 מגרסת מרץ 2023, ולכן הוא סוחב איתו את ההטיות, הסגנון והמגבלות של המודל הזה מאותה תקופה. אין בכרטיס שום פירוט על תמיכה בעברית או בשפות אחרות, וההנחה הסבירה היא שהכל באנגלית. בנוסף, המפתחים מציינים שהתרשים בכרטיס משקף את המידע לפני הסינון, כך שהחלוקה הסופית עשויה להיות שונה במעט.
אותה משפחה
EverythingLM-data יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
הרישיון הרשמי שמופיע במאגר הוא MIT, שמתיר שימוש מסחרי מלא בלי דרישה לפתוח את הקוד שלכם. למרות זאת, הנתונים הופקו באמצעות מודל GPT-4, מה שעשוי לעורר שאלות משפטיות מול תנאי השימוש של יוצרת המודל המקורי לגבי אימון מודלים מסחריים. מומלץ לבדוק את הסיכון הזה מול הייעוץ המשפטי שלכם לפני שילוב במוצר.
האם יש בדאטהסט תמיכה בעברית?
כרטיס הפרויקט לא מזכיר עברית כלל, והטקסטים נוצרו סביב תבניות סטנדרטיות באנגלית. אם אתם בונים מודל שמיועד לשפה העברית, הדאטהסט הזה לא יועיל לכם באופן ישיר. תצטרכו לתרגם את הרשומות או לחפש מקורות נתונים מקומיים.
כמה המאגר שוקל ומה הפורמט שלו?
המאגר קטן מאוד ושוקל פחות ממגהבייטים בודדים, מכיוון שהוא מכיל כ־1,100 רשומות בלבד. כל המידע שמור בקובץ EverythingLMv3.json יחיד שניתן להוריד ישירות דרך האתר או בקוד. המבנה הפשוט חוסך זמן פריסה והגדרות סביבה מסובכות.
איך הנתונים נאספו ונבנו?
הנתונים לא נאספו מגולשים אמיתיים ברשת אלא יוצרו בצורה סינתטית באמצעות מודל השפה GPT-4 מגרסת מרץ 2023. המפתחים השתמשו בעקרונות מפרויקטים כמו Orca ו־evol-instruct, שמשפרים ומסבכים שאלות באופן מדורג. לאחר תהליך הייצור, הרשומות עברו סינון קל כדי לסלק דוגמאות באיכות נמוכה.
איך טוענים
אתם מושכים את המידע ישירות מהמאגר בקובץ EverythingLMv3.json, שזמין להורדה חופשית ללא צורך בהרשאה מיוחדת או אישור גישה מראש. הקובץ קל מאוד להורדה ולטעינה מהירה בסביבת פייתון, ואינו דורש משאבי אחסון כבדים בגלל היקף הנתונים המצומצם.
בתוך הקובץ תמצאו את שלשות הטקסט של מערכת, משתמש ועוזר, כך שאין צורך בעיבוד מקדים מורכב לפני הזנה לסכמת אימון סטנדרטית. פשוט טוענים את ה־JSON, ממפים את המפתחות למבנה הפרומפט של המודל שלכם, ומתחילים לעבוד.
from datasets import load_dataset
ds = load_dataset("totally-not-an-llm/EverythingLM-data-V3")הרישיון
המאגר מפורסם תחת רישיון MIT, שמאפשר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. הרישיון לא מחייב אתכם לחשוף את הקוד שלכם או לשחרר מודלים שאימנתם תחת אותו רישיון בדיוק. עם זאת, מכיוון שהתוכן הופק באמצעות GPT-4, כדאי לזכור שחברות מסוימות מגבילות שימוש בתוצרי המודלים שלהן לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש