ymhao/HPDv2
קוד פתוחymhaoapache-2.02024-02-20
המאגר כולל מאות אלפי העדפות אנושיות על תמונות שנוצרו ממודלי טקסט לתמונה. הוא נבנה כדי לאמן מודלים שמעריכים איזו תוצאה ויזואלית בני אדם יעדיפו.
- 1,846הורדות בחודש
- 27לייקים
מה זה
הנתונים מכילים 798 אלף בחירות העדפה אנושיות המבוססות על 430 אלף תמונות ממודלים שונים ליצירת תמונה מטקסט, כמו DALLE ודגמים נוספים. המאגר משמש בסיס לאימון והערכה של מודל החיזוי HPSv2, ומציג השוואות ישירות בין פלטים שונים עבור אותו הפרומפט.
המבנה מחולק לקובצי אימון ומבחן. בקובץ האימון מקבלים את הפרומפט, נתיבי הקבצים ורשימת סימונים בינאריים שקובעת מה המשתמש העדיף. קובץ המבחן מכיל פירוט מעמיק יותר, הכולל דירוג ממוצע לכל תמונה מול הנתיב שלה, יחד עם הדירוגים הגולמיים ומזהה אנונימי של כל מעריך.
מתאים ל
- אימון מודלי תגמול
לימוד מודל שמדרג איכות ויזואלית של פלט לפי העדפות אנושיות.
- בנצ'מרק למודלי תמונה
בדיקת איכות של מודל טקסט לתמונה מול תוצאות אנושיות ידועות מראש.
- כוונון עדין בהנחיה אנושית
שיפור מודלי יצירת תמונה באמצעות משוב העדפה ישיר מהדאטהסט.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שאי אפשר להסיק מהם על העדפות עבור פרומפטים בעברית או בשפות אחרות. התמונות נוצרו במודלים ספציפיים שהיו קיימים בעת איסוף הדאטה, ולכן ייתכן שהעדפות המשתמשים מוטות על פי היכולות והעיוותים של אותם מודלים ישנים. בנוסף, הכרטיס לא מפרט את הרכב צוות המתייגים, את הדמוגרפיה שלהם או את תנאי הסינון של התמונות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. צריך לשמור על הודעות זכויות היוצרים והייחוס ליוצרים המקוריים. אין דרישה לפתוח את הקוד של המוצר שלכם.
האם יש במאגר תמיכה בפרומפטים בעברית?
לא, השפה המוגדרת במאגר היא אנגלית בלבד. כל הטקסטים וההנחיות שנבדקו מול המתייגים נכתבו באנגלית. לא מומלץ להשליך ממנו ישירות על מודלים שמקבלים עברית.
איך בנוי המידע על הבחירות של המשתמשים?
בקובץ האימון יש שדה שמסמן 1 עבור התמונה המועדפת מתוך רשימת הקבצים המקושרים לפרומפט. בסט הבדיקה המידע מפורט יותר, וכולל דירוג ממוצע וכן את הדירוג המלא של כל מתייג בנפרד יחד עם מזהה המשתמש שלו.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה ymhao/HPDv2, למשל עבור split הבדיקה. המאגר כולל 57 קבצים, ביניהם קובצי סקריפט, קובצי תיוג בפורמט JSON וארכיוני tar.gz שמחזיקים את התמונות של הבנצ'מרק. השדות החשובים לניתוח הם prompt שמכיל את תיאור התמונה, קובצי הנתיבים, והשדות שמייצגים את הבחירה האנושית או הדירוג המשוקלל.
from datasets import load_dataset
ds = load_dataset("ymhao/HPDv2")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של המידע. אין חובה לשתף נגזרות באותו הרישיון, אך נדרש לתת ייחוס מתאים ולצרף את תנאי הרישיון המקוריים בכל שימוש או אימון של מודל.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים