airoboros-2.2
קוד פתוחjondurbinother2023-10-03
מאגר הוראות מגוון שנוצר ברובו באמצעות מודלי שפה וגרידה מהרשת. הוא מיועד למי שמחפש לשפר יכולות שיחה, כתיבה ועריכת טקסט במודלים פתוחים.
- 230הורדות בחודש
- 24לייקים
מה זה
המאגר מכיל קובץ הוראות עיקרי בפורמט jsonl ומהווה המשך ישיר לגרסה 2.1 של הפרויקט. הנתונים מורכבים ממספר תחומים שנוצרו על ידי מחוללי הוראות ייעודיים. בין השאר תמצאו כאן שאלות אמריקאיות עם הקשר, משימות סיכום שנלקחו ממאגר חיצוני של 500 דוגמאות, ודוגמאות כתיבה יצירתית שנוצרו מחדש כדי להיפטר מפתיחים בנאליים.
היוצר הוסיף מנגנון מודעות שמנסה להתאים את התשובות להקשר של מיקום וזמן לפי הוראת המערכת, ומודול עריכת טקסט שמבוסס על יצירת שגיאות מכוונות ותיקונן. נתוני משחקי תפקידים ושיחות נבנו מחדש כך שכל תור בשיחה נשמר כרשומה נפרדת, ללא קידומות קבועות של משתמש ועוזר. תווים מיוחדים של מרכאות ושלוש נקודות הומרו לתווי אסקי רגילים כדי לפתור תקלות טוקניזציה.
מתאים ל
- אימון מודל לעריכת טקסט
דוגמאות עם שגיאות יזומות ותיקונים שמלמדות את המודל לשפר דקדוק וניסוח.
- כוונון שיחות רב-שלביות
נתוני משחקי תפקידים מסודרים לפי תורות, ללא קידומות מיותרות.
- מענה מותאם הקשר מערכת
תרגול תגובות שמשתנות בהתאם לזהות המוגדרת בהנחיית המערכת.
איפה זה נופל
חלק מהטקסטים כוללים שפה בוטה, קללות ותכנים רגישים, שמקורם בפליטות של מודלים או בגרידה מהרשת. נתוני TruthfulQA סוננו החוצה בעזרת מודל שיקוע כדי למנוע זיהום, אבל מבחני ביצועים אחרים לא נבדקו ועלולים להימצא בפנים. אין שום תיעוד לתמיכה בעברית, כל המידע באנגלית בלבד, ואימון עיוור יכניס הטיות לא מבוקרות למוצר שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
זה בעייתי מבחינה משפטית. מרבית הנתונים נוצרו באמצעות GPT 4, ותנאי השימוש של OpenAI אוסרים על שימוש בפלטים שלהם לפיתוח מודלים מתחרים. היוצר מתנער מאחריות וממליץ לפנות לייעוץ משפטי לפני כל שימוש עסקי.
האם יש במאגר נתונים בעברית?
הכרטיס לא מציין תמיכה בשפות נוספות מעבר לאנגלית. הנתונים נוצרו ונאספו באנגלית, כך שאין כאן מענה לפרויקטים מקומיים.
איך טיפלו בבעיית זיהום המבחנים?
היוצר השתמש במודל שיקועים ובאינדקס faiss כדי לסנן שאלות שדומות למבחן TruthfulQA. מבחני ביצועים אחרים לא סוננו בגלל עלויות חישוב, למעט שאלות אמריקאיות שנוצרו אקראית.
איך טוענים
אתם מושכים את הקובץ instructions.jsonl ישירות מהמאגר בעזרת ספריית datasets או בקריאת קובץ פשוטה. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית ומכיל שלושה קבצים בלבד. השדות המרכזיים כוללים את ההוראות והתגובות, כאשר בשיחות מרובות שלבים כל תור מיוצג בשורה עצמאית שמתאימה ישירות לאימון.
from datasets import load_dataset
ds = load_dataset("jondurbin/airoboros-2.2")הרישיון
הרישיון מוגדר ככללי ולא סטנדרטי. רוב הנתונים הופקו ישירות דרך ה־API של GPT 4, שתנאי השימוש שלו אוסרים על אימון מודלים שמתחרים ב־OpenAI. היוצר מציין במפורש שאין לו אחריות משפטית, וממליץ להתייעץ עם עורך דין לפני שימוש מסחרי במודל שאומן על המאגר.