HPDv2
קוד פתוחzhwangרישיון לא דווח2023-07-28
מאגר נרחב של העדפות אנושיות בין תמונות שנוצרו ממודלי טקסט לתמונה שונים. הוא מתאים למי שרוצה לאמן מודל ניקוד להעדפות משתמשים או להשוות איכות מחוללים על פרומפטים נקיים.
- 2,968הורדות בחודש
- 14לייקים
מה זה
המאגר מציג השוואות זוגיות שביצעו בני אדם על תמונות שנוצרו מאותו פרומפט. המקורות לטקסט מגיעים ממאגרי DiffusionDB ו־MSCOCO Captions, כאשר הטקסטים מ־DiffusionDB עברו ניקוי בעזרת ChatGPT כדי להסיר מילות פונקציה מוטות. בסך הכל נאספו כ־798 אלף השוואות זוגיות על בסיס יותר מ־430 אלף תמונות ו־107 אלף פרומפטים.
התמונות נוצרו ממגוון מודלים, כשהבולטים בכמויות הם Stable Diffusion בגרסאות 1.4 ו־2.0, DALL-E 2, ו־CogView2, לצד תמונות מ־COCO ומודלים נוספים בכמויות קטנות יותר. המאגר מחולק לקובצי אימון ומבחן עם 645 אלף זוגות לאימון ו־153 אלף למבחן, ובנוסף כולל חלק ייעודי לבנצ'מרק של 3,200 פרומפטים המחולקים שווה בשווה בין ארבעה סגנונות: אנימציה, אמנות קונספט, ציור וצילום.
מתאים ל
- אימון מודל דירוג לתמונות
לימוד מודל להערכת איכות של תמונות שנוצרו מטקסט על בסיס מאות אלפי בחירות אנושיות.
- בנצ'מרק למחוללי תמונות
הרצת 3,200 פרומפטים בארבעה סגנונות מוגדרים לבדיקת ביצועים של מודלי טקסט לתמונה שונים.
- כוונון מודלי תמונה
שימוש בדירוגים כמשוב אנושי ישיר לטובת חידוד תוצרים ויישור קו עם העדפות צופים.
איפה זה נופל
כל הפרומפטים מקורם במאגרים באנגלית, ללא ייצוג לשפות אחרות וללא עברית. תהליך הסינון של הפרומפטים התבסס על ניקוי אוטומטי של ChatGPT, מה שעלול לייצר הטיות ספציפיות בבחירת הניסוחים. בנוסף, רוב מוחלט של התמונות מגיע מכמה מודלים מסוימים מתקופת פרסום המאגר באמצע 2023, והוא אינו מייצג מודלים מודרניים יותר. לפני שמכניסים מודל כזה למוצר, צריך לזכור שהעדפות אנושיות במאגר משקפות את הטעם הספציפי של המתייגים שנבחרו לפרויקט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
בעמוד המאגר לא הוגדר רישיון שימוש כלל. בהיעדר רישיון מפורש, אין היתר חוקי להשתמש בו לצרכים מסחריים או לאמן עליו מודלים למוצר סגור, והשימוש בו מוגבל בפועל למחקר בלבד עד שהיוצרים יבהירו את התנאים.
האם יש במאגר תמיכה בעברית?
לא. הטקסטים נאספו מ־MSCOCO Captions ומ־DiffusionDB, שניהם מאגרים באנגלית, וסוננו בעזרת ChatGPT באנגלית. אין במאגר פרומפטים בעברית או התייחסות להעדפות של דוברי עברית.
מאיפה הגיעו התמונות וההעדפות במאגר?
התמונות נוצרו ממספר מודלים מובילים, בעיקר Stable Diffusion, DALL-E 2 ו־CogView2, על בסיס פרומפטים שנאספו ונוקו. מתייגים אנושיים קיבלו תמונות שנוצרו מאותו פרומפט ודירגו איזו תמונה עדיפה בעיניהם, תהליך שיצר כ־798 אלף השוואות זוגיות.
איך בנוי חלק הבנצ'מרק של המאגר?
הוא כולל 3,200 פרומפטים קבועים שמחולקים ל־800 בכל אחד מארבעה סגנונות: אנימציה, אמנות קונספט, ציור וצילום. לצדם יש תיקיות עם תמונות מוכנות שנוצרו על ידי שורה ארוכה של מודלים, מה שמאפשר להשוות תוצאות ישירות מול מודלים קיימים.
איך טוענים
הנתונים מחולקים למבנה תיקיות הכולל תמונות בפורמט JPG וקובצי JSON של תיוגים. בתוך קובץ האימון train.json מופיעים הפרומפט, נתיבי הקבצים, מזהה משתמש מוצפן ומערך המציין את הבחירה האנושית, ואילו ב־test.json מופיע דירוג מלא של התמונות. המאגר כולל 55 קבצים, כולל ארכיוני tar.gz לחלק מהמודלים, כך שצריך לחלץ את הקבצים ידנית למבנה התיקיות המוגדר לפני שמתחילים לקרוא את המידע בקוד. אין צורך באישור גישה מיוחד כדי להוריד אותו מהעמוד.
from datasets import load_dataset
ds = load_dataset("zhwang/HPDv2")הרישיון
היוצרים לא ציינו רישיון שימוש בעמוד המאגר. מבחינה משפטית, היעדר רישיון פירושו שכל הזכויות שמורות ואין הרשאה ברורה להשתמש בנתונים לפיתוח מסחרי או לאימון מודלים מסחריים. שימוש במאגר מתאים בעיקר למחקר אקדמי, ומי שמתכנן לבנות מוצר מסחרי צריך לקחת בחשבון את הסיכון המשפטי או לנסות לפנות ישירות למחברים לקבלת הבהרות.