Infinity-Preference

מה זה

המאגר מבוסס על מערכת תיוג היכולות של Infinity-Instruct, ומכיל 59,438 הוראות שנדגמו באופן אחיד מתוך סט ההוראות המקורי לפי סוגי משימות שונים. החוקרים ניסו לפתור בעיה מוכרת שבה העדפה אנושית משתנה לחלוטין בין משימה למשימה, ולכן התאימו את משקולות המאפיינים לכל משימה בנפרד במקום להשתמש במודל ניקוד אחיד.

לכל הוראה מוצמד זוג העדפות של תשובות שנדגמו מתוך המודל Gemma-2-9B-IT. התיוג והדירוג של הזוגות נעשו בעזרת ArmoRM בשילוב אותן משקולות ייעודיות לכל משימה. ניתוח חלוקת המשימות שבוצע באמצעות שיכוך של BGE מראה שהנתונים מכסים פיזור משימות מקביל למאגרים פתוחים מרכזיים ולמבחני הערכה מקובלים בתחום.

מתאים ל

• יישור מודלים בשיטת SimPO

  אימון של מודלי שפה על זוגות העדפה שמכוילים לפי סוג המשימה הספציפי.

• יצירת דאטה on-policy

  שימוש במתודולוגיה ובמשקולות המאגר כדי לייצר זוגות העדפה למודלים נוספים.

• מחקר על משקולות העדפה

  בדיקת ההשפעה של דירוג תלוי משימה לעומת מודלי תגמול כלליים.

איפה זה נופל

אם אתם בונים מערכת בעברית, המאגר הזה לא יעזור לכם. הנתונים מוגבלים לאנגלית ולסינית בלבד. בנוסף, כל התשובות נדגמו ממודל יחיד, Gemma-2-9B-IT, והדירוג נשען על ArmoRM, כך שהטיות או שגיאות של שני המודלים האלה חילחלו ישירות פנימה. היוצרים מבהירים במפורש שהתוכן מושפע מגורמים כמו אקראיות ולכן אינם מתחייבים לדיוק הפלטים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets מתוך Hugging Face, אין צורך בבקשת גישה מיוחדת או באישור ידני. הקבצים מגיעים בפורמט parquet ומחולקים לקובץ train וקובץ test, כך שהשילוב בתהליכי אימון סטנדרטיים של DPO או SimPO הוא ישיר. בפנים תמצאו את ההוראות ואת זוגות התשובות המדורגים לפי המשקולות הספציפיות.

from datasets import load_dataset

ds = load_dataset("BAAI/Infinity-Preference")

הרישיון

למרות שבמטא-דאטה מופיע רישיון apache-2.0, בהצהרת המפתחים נכתב במפורש שהמשאבים, כולל הקוד, הנתונים והמשקולות, מוגבלים למחקר אקדמי בלבד ואסורים לשימוש מסחרי. יש כאן סתירה ישירה שמסכנת כל מוצר מסחרי. מודל שתאמנו עליו יהיה חשוף לבעיה משפטית מול הדרישה הזו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗