airoboros-2.2.1
קוד פתוחjondurbinother2023-09-15
המאגר מרכז הוראות סינתטיות שנוצרו בעיקר בגרסאות שונות של מודל GPT-4 לצורך כוונון מודלים. הוא מיועד למי שמחפש טקסטים ארוכים יותר, תשובות פחות מצונזרות והתמודדות טובה יותר עם הקשר רחב.
- 314הורדות בחודש
- 42לייקים
מה זה
הנתונים מורכבים מהוראות ותשובות שנוצרו על ידי GPT-4 מדגמי 0314 ו־0613. היוצר יצר מחדש חלקים נרחבים מהתשובות כדי להאריך אותן, והזריק קטעי טקסט לא קשורים באמצעות אינדקס faiss כדי למתוח את ההקשר מעבר ל־3,800 טוקנים. קטגוריית ה־rp הישנה הוסרה לחלוטין בגלל ניסוחים רובוטיים, ובמקומה שולבו שיחות רב-שלביות של GTKM שבהן כל סבב שיחה נשמר כרשומה נפרדת.
בנוסף שולבו 500 דוגמאות סיכום ממאגר חיצוני של mattpscott, ונוספו קטגוריות חדשות כמו awareness, שמנסה לחבר את התשובה למיקום או זמן שמוגדרים בפרומפט המערכת. תחום העריכה מבוסס על יצירת שגיאות מכוונות בטקסטים קיימים ואימון המודל לתקן אותן בחזרה, לצד שאלות רב-ברירה נוספות וטקסטים של דמויות בדיוניות שנכתבו מחדש בשפה גסה וחופשית יותר.
מתאים ל
- כוונון לכתיבה יוצרת
אימון מודל לייצור טקסטים ארוכים ומפורטים יותר ללא ביטויים קלישאתיים.
- קריאת הקשר ארוך
שיפור יכולת השליפה וההבנה של מודלים בתוך קלטים שמגיעים קרוב ל־4,000 טוקנים.
- תיקון ועריכת שגיאות
אימון על דוגמאות ייעודיות לזיהוי שגיאות כתיב ודקדוק ושיפור ניסוח.
איפה זה נופל
כל הטקסטים והפרומפטים שמוצגים בכרטיס הם באנגלית בלבד, ואין שום תיעוד או בדיקה לגבי עברית. איכות הנתונים מסתמכת על יצירה סינתטית, כולל ניסיונות מכוונים להוסיף שגיאות כתיב במשימות עריכה, שעלולים לחלחל למקומות לא רצויים אם לא מנקים אותם. חלק מהתשובות כוללות ניבולי פה ושפה בוטה במכוון, כך שאי אפשר להכניס את התוצרים למוצר בלי בדיקת סינון מקדימה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
מבחינה משפטית זה בעייתי מאוד. רוב המידע נוצר באמצעות GPT-4, ותנאי השימוש של OpenAI אוסרים על אימון מודלים מתחרים. היוצר עצמו ממליץ במפורש לפנות לייעוץ משפטי לפני כל שימוש מסחרי.
האם יש בדאטהסט תמיכה בעברית?
אין שום תיעוד לתמיכה בעברית. כל הדוגמאות, הפרומפטים וההוראות המוצגים בכרטיס נכתבו באנגלית בלבד. אם המטרה היא מודל שמיועד לשפה העברית, המאגר הזה לא מספק את המענה.
מאיפה הגיעו הנתונים ואיך הם נאספו?
הנתונים נוצרו בצורה סינתטית באמצעות הרצת פרומפטים מול גרסאות שונות של GPT-4. חלק מהקטעים נערכו כדי להוסיף מילים גסות של דמויות כמו דדפול, ותשובות קצרות נוצרו מחדש כדי להגיע לאורך משמעותי.
מה ההבדל בין גרסה 2.2.1 לגרסאות שקדמו לה?
בגרסה הזו הוסרה קטגוריית ה־rp המשעממת, נוספו 500 דוגמאות סיכום ממאגר חיצוני והורחב ההקשר לטקסטים עד כ־3,800 טוקנים. בנוסף, שיחות הופרדו לשורות נפרדות עבור כל סבב, והוסרו קידומות המערכת שהיו קיימות בעבר.
איך טוענים
הקובץ הראשי במאגר הוא instructions.jsonl, לצד קובץ README. הגישה חופשית לגמרי ואינה דורשת אישור מוקדם או הרשמה מיוחדת אצל היוצר. המאגר כולל שלושה קבצים בלבד, כך שטעינת הנתונים לסביבת האימון נעשית ישירות בקריאה לקובץ ה־jsonl, כאשר השדות החשובים כוללים את ההוראות והתשובות לכל סבב שיחה או משימה.
from datasets import load_dataset
ds = load_dataset("jondurbin/airoboros-2.2.1")הרישיון
הרישיון מוגדר כ־other, כאשר היוצר מבהיר שרוב הנתונים הופקו באמצעות ה־API של GPT-4. תנאי השימוש של OpenAI אוסרים על שימוש בפלט לאימון מודלים שמתחרים בהם. זה אומר שאי אפשר להשתמש במאגר באופן מסחרי בלי לקחת סיכון משפטי, והוא מתאים בעיקר למחקר, ניסויים פנימיים או פרויקטים שלא מיועדים למכירה.