WebInstructSub-prometheus
קוד פתוחchargoddardapache-2.02024-05-12
המאגר מכיל דוגמאות מתוך WebInstructSub שעברו הערכה של חשיבה לוגית ויעילה בעזרת prometheus-7b-v2.0. הוא מיועד למי שרוצה לסנן נתוני הוראות לפי איכות הנימוק.
- 264הורדות בחודש
- 25לייקים
מה זה
הנתונים מתבססים על המאגר WebInstructSub של מעבדת TIGER-Lab, ועברו תהליך עיבוד והערכה באמצעות ספריית distilabel. המטרה של התהליך הייתה לבחון את איכות ההסבר וההיגיון הלוגי בכל רשומה, כשהמודל prometheus-7b-v2.0 שימש כשופט שמייצר את הציונים והמשוב.
בפועל מדובר במיליוני רשומות שמחולקות לקבצי פרקט שונים, ללא חלוקה מורכבת של תתי-קבוצות אלא תחת תצורה אחת בשם default. כל רשומה כוללת את נתוני ההוראה המקוריים לצד פלטי ההערכה שנוצרו על ידי מודל הבדיקה, מה שמאפשר לבצע סינון ישיר של דוגמאות חלשות לפני שרצים לאמן מודלים.
מתאים ל
- סינון נתוני אימון
ניפוי דוגמאות אימון מתוך WebInstructSub שקיבלו ציוני חשיבה נמוכים מהמודל השופט.
- אימון מודלי שיפוט
שימוש במשוב ובציונים של פרומתאוס כדי ללמד מודלים אחרים להעריך איכות של פלטים.
- כוונון עדין למשימות היגיון
אימון מודלי שפה על תת קבוצה איכותית של הוראות מורכבות שמפגינות הסבר לוגי ברור.
איפה זה נופל
ההערכות כולן נשענות על מודל prometheus-7b-v2.0, שהוא מודל שופט קטן יחסית. להחלטות שלו יש הטיות מובנות והוא עלול לתת ציונים גבוהים לטקסט שנשמע משכנע אך שגוי עובדתית. בנוסף, כל המאגר זמין באנגלית בלבד, ואין פה נתונים בעברית. הכרטיס המקורי כמעט ריק מתיעוד, חסר פירוט על התפלגות הציונים או שגיאות שנמצאו, ולכן אי אפשר להסתמך עליו בעיניים עצומות למוצר סופי בלי לדגום ידנית את איכות הציונים.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
המאגר מפורסם תחת רישיון apache-2.0, מה שמאפשר שימוש מסחרי ללא תשלום. יחד עם זאת, הנתונים מגיעים ממאגר מקור בשם WebInstructSub, ולכן מומלץ לבדוק את תנאי השימוש של נתוני המקור לפני אימון מודל מסחרי.
האם יש במאגר נתונים בעברית?
לא, המאגר מוגדר וכולל נתונים בשפה האנגלית בלבד. אם המטרה שלכם היא מודל שמיועד לעברית, תצטרכו לתרגם את הרשומות או לחפש מקור אחר לחלוטין.
איך המאגר נוצר ומה שונה בו ממאגר המקור?
היוצר לקח את WebInstructSub והעביר אותו דרך prometheus-7b-v2.0 בעזרת כלי distilabel. ההבדל הוא שבמאגר הזה לכל רשומה נוספה הערכה על איכות החשיבה והיעילות הלוגית שלה, מה שחוסך את הצורך להריץ מודל שיפוט בעצמכם.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset רגילה עם שם המאגר, ללא צורך באישור גישה או מפתח מיוחד. המאגר כולל לפחות 11 קבצי parquet בחלוקת train, כך שמדובר בנפח של מיליוני שורות שדורש דיסק פנוי וזמן הורדה סביר. מי שמעוניין לשחזר את תהליך ההערכה המדויק מאפס יכול להשתמש בקובץ pipeline.yaml שמצורף למאגר ולהריץ אותו ישירות עם distilabel CLI, מה שמאפשר לראות בדיוק אילו שדות נבדקו וכיצד נוצר הציון עבור כל שורה.
from datasets import load_dataset
ds = load_dataset("chargoddard/WebInstructSub-prometheus")הרישיון
הרישיון המדווח במאגר הוא Apache 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הנתונים והפצה מחדש, ואינו מחייב אתכם לפתוח את הקוד שלכם או לשתף את המודל תחת אותו רישיון. החובה העיקרית היא מתן קרדיט והצגת עותק הרישיון המקורי. יש לזכור שהנתונים מבוססים על דאטהסט מקור, ולכן כדאי לוודא שאין תנאים סותרים מול מאגר המקור עצמו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים