Neural-DPO
קוד פתוחNeuralNovelapache-2.02024-01-18
נתוני העדפה לאימון DPO שמתמקדים ברשתות נוירונים לצד שאלות כלליות, ספרות ומחקר. הקובץ מסנן מראש התנצלויות וקלישאות של מודלי שפה כדי לקבל תשובות נקיות וישירות יותר.
- 68הורדות בחודש
- 31לייקים
מה זה
המאגר כולל זוגות של שאלות ותשובות שנבנו לפי הרעיון של orca_dpo_pairs, במטרה לכוונן מודלים באמצעות Direct Preference Optimization. התוכן מתמקד בנושאים טכניים של רשתות נוירונים, אך מערבב גם שאלות ותשובות כלליות, טקסטים מאוספי ספרות ומאמרים אקדמיים. אין בכרטיס פירוט לגבי חלוקה רשמית לקבוצות אימון ובדיקה.
תהליך הסינון המוצהר התמקד בהסרת ביטויים מעצבנים ונפוצים של צ'אטבוטים. הוסרו ממנו ניסוחים מתנצלים כמו שגיאות נוסח של מודלים, למשל I'm sorry, but או As an AI, לצד ביטויים כמו Couldn't help but או However, it is important to. היוצרים לא מפרטים בדיוק איך נבחרו התשובות המועדפות לעומת הדחויות, מעבר למקורות ההשראה והסינון הטקסטואלי הזה.
מתאים ל
- אימון DPO למודלי שיחה
כוונון העדפות למודל שפה כדי להפחית מריחות של ביטויי סרק והתנצלויות מיותרות בתשובות.
- חידוד ידע ברשתות נוירונים
שיפור היכולת של מודלים לענות על שאלות טכניות ומחקריות בתחום הלמידה העמוקה.
- סינון תשובות של צ'אטבוטים
שימוש ברשימת הביטויים שנמחקו כדי לבנות מסננים דומים למאגרי אימון פנימיים.
איפה זה נופל
הכרטיס לא מציין את כמות השורות המדויקת, את השפות שנתמכות או את זהות המודלים שמהם נוצרו התשובות. כל הדוגמאות והסינונים שמופיעים בדף הם באנגלית בלבד, ואין שום עדות לנוכחות של עברית. בנוסף, לא ידוע מאיזה תאריכים נלקחו המאמרים וקטעי הספרות, כך שייתכן שהמידע על רשתות נוירונים לא מעודכן לפיתוחים האחרונים. חובה לדגום את הרשומות בעין כדי לראות אם יש שם הזיות עובדתיות או זכויות יוצרים בעייתיות שמקורן בספרים שנסרקו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי חופשי, כולל אימון מודלים סגורים למכירה. יש לוודא שאתם שומרים על תנאי הייחוס והרישיון המקורי בקבצים שלכם.
האם המאגר כולל עברית?
הכרטיס לא מזכיר עברית כלל וכל הדוגמאות והסינונים שבו מופיעים באנגלית. סביר מאוד להניח שהטקסט כולו באנגלית, ולכן הוא לא מתאים לאימון ישיר על השפה העברית.
איך נאסף המידע ואיך החליטו מה התשובה הנכונה?
היוצרים מציינים שהשראת המבנה הגיעה מ־orca_dpo_pairs ושהטקסטים נאספו ממאמרים, ספרות ושאלות כלליות. עם זאת, אין תיעוד מפורט שמסביר איזה מודל יצר את התשובות או לפי איזה קריטריון נקבעה התשובה המועדפת מול הדחויה.
מה שונה פה לעומת orca_dpo_pairs המקורי?
הדגש כאן הוסט לכיוון שאלות בנושאי רשתות נוירונים, מחקר וספרות. בנוסף, נוקה ממנו סט ספציפי של ביטויים כמו As an AI כדי למנוע סגנון רובוטי שחוזר על עצמו.
איך טוענים
הנתונים יושבים בקובץ בודד בשם Neural-DPO.jsonl בתוך המאגר, שכולל בסך הכל שלושה קבצים. הגישה פתוחה לגמרי ללא צורך בהרשמה מוקדמת או אישור של היוצרים. אפשר לקרוא אותו ישירות עם ספריית datasets של Hugging Face או לטעון מקומית שורה אחר שורה כקובץ JSON רגיל. לפני שמתחילים לרוץ, כדאי לפתוח את השורות הראשונות ולוודא את שמות המפתחות המדויקים להעדפה, prompt, chosen ו־rejected, כיוון שהכרטיס לא מדגים את מבנה הסכמה המדויק.
from datasets import load_dataset
ds = load_dataset("NeuralNovel/Neural-DPO")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה שלהם, לצד אימון מודלים לכל מטרה. התנאי העיקרי הוא מתן ייחוס מתאים ושמירה על הודעת זכויות היוצרים המקורית. אין חובה לשתף את המודל המאומן או את הנגזרות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים