llama3-ultrafeedback-armorm
קוד פתוחprinceton-nlpmit2024-07-06
מאגר נתוני העדפה שמיועד לאימון מודלים מסוג Llama 3, שנוצר כדי לדייק את התוצאות באלגוריתמים כמו SimPO. הוא מתאים למי שרוצה לשפר יישור של מודלי שפה בלי לייצר נתונים מאפס.
- 610הורדות בחודש
- 20לייקים
מה זה
המאגר מבוסס על הפרומפטים מתוך ultrafeedback_binarized של HuggingFaceH4. המפתחים שמרו על אותן פניות מקוריות, וחילקו את הנתונים לשני חלקים שכוללים בערך 60 אלף דוגמאות אימון וכאלפיים דוגמאות בדיקה. המטרה המרכזית שלו הייתה לאמן את המודל Llama-3-Instruct-8B-SimPO-v0.2, ולכן הוא מותאם במיוחד לארכיטקטורה הזו.
חוקרי פרינסטון יצרו גרסאות מקבילות עבור ארכיטקטורות אחרות כמו Mistral ו־Gemma-2, כך שהסט הזה נבנה ספציפית למשפחת לאמה. הרשומות מיועדות למשימות יישור והעדפה, ומספקות את חומרי הגלם הנדרשים לאימון מודלי תגמול או אופטימיזציה ישירה בלי להסתבך עם בניית הנתונים בעצמכם.
מתאים ל
- אימון מודלי העדפה
אימון אלגוריתמים כמו SimPO או DPO על בסיס מודלי Llama 3 קיימים.
- הערכת ביצועי מודל
בדיקת איכות התשובות על סט הבדיקה שמכיל אלפיים דוגמאות מוכנות.
- יישור מודלי שיחה
דיוק מודלי שפה פתוחים כדי להפחית תשובות לא רצויות באנגלית.
איפה זה נופל
כרטיס הנתונים קצר מאוד ולא מפרט שפות, הטיות סינון או את אופן הדירוג המדויק שבוצע. המאגר מבוסס על אנגלית ולא כולל עברית, כך שלא כדאי לבנות עליו ליישור מודלים בשפה המקומית. בנוסף, הוא נתפר ספציפית עבור מודלי לאמה, ולכן שימוש בו על ארכיטקטורות אחרות עשוי לתת ביצועים נחותים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מופץ תחת רישיון MIT שמתיר שימוש מסחרי מלא. אתם יכולים לאמן עליו מודלים ולשלב אותם במוצרים מסחריים בלי לשתף את הקוד שלכם, כל עוד שומרים על תנאי הייחוס.
האם הדאטהסט כולל תמיכה בעברית?
לא, הנתונים מבוססים על פרומפטים באנגלית שמקורם במאגר ultrafeedback. אם המוצר שלכם פונה לקהל ישראלי או דורש הבנה בעברית, תצטרכו לאסוף או לתרגם נתונים ממקור אחר.
מה ההבדל בינו לבין המאגרים האחרים של פרינסטון?
החוקרים ייצרו גרסאות שונות בהתאם למודל היעד. הסט הזה מותאם ספציפית עבור Llama 3, בעוד שעבור מודלים כמו Mistral או Gemma-2 יש להם מאגרים נפרדים שמתאימים למבנה שלהם.
איך טוענים
טוענים את המאגר ישירות מתוך Hugging Face בעזרת ספריית datasets הרגילה. הנתונים מגיעים בקובצי parquet שמחולקים לשני חלקי אימון וקובץ בדיקה יחיד, בלי צורך לבקש אישור גישה מיוחד. לפני שמתחילים כדאי לוודא שפורמט הפרומפטים והתשובות תואם לטוקנייזר ולמבנה השיחה של המודל שאתם מאמנים.
from datasets import load_dataset
ds = load_dataset("princeton-nlp/llama3-ultrafeedback-armorm")הרישיון
הרישיון הוא MIT, מה שאומר שיש חופש כמעט מוחלט. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולאמן עליהם מודלים ללא דרישה לשתף את התוצר באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש