text-2-image-Rich-Human-Feedback
קוד פתוחRapidataapache-2.02025-01-06
המאגר כולל מעל 1.5 מיליון משובי אנוש מפורטים על תמונות שנוצרו במודלים, כולל ציונים, סימון מילים שגויות ומפות חום של שגיאות. הוא מתאים למי שרוצה לאמן מודל ביקורת או תגמול מעבר לציון כללי.
- 1,509הורדות בחודש
- 37לייקים
מה זה
במקום לתת רק ניקוד יחיד, המאגר מפרק את הפידבק לרמות שונות של ניתוח. 152,684 מתייגים מ־156 מדינות העריכו תמונות לפי עקביות פנימית ופגמים חזותיים, התאמה לטקסט וסגנון חזותי. כל תמונה קיבלה לפחות 21 תגובות בכל מדד, ששוקללו לממוצע בסולם של 1 עד 5.
הייחוד נמצא בשכבות הנוספות. עבור כל תמונה, המשתמשים סימנו מילים ספציפיות מתוך הפרומפט שלא קיבלו ביטוי חזותי נכון. תמונות שקיבלו ציון עקביות מתחת ל־3.8 נבדקו שוב כדי לאתר שגיאות ספציפיות, ועבור תמונות עם ציון התאמה מתחת ל־3.2, המשתמשים סימנו את האזורים הבעייתיים. הסימונים האלה עובדו למפות חום של חוסר התאמה.
מתאים ל
- אימון מודל תגמול
לימוד מודל תגמול לדיפוזיה שמזהה אזורים ספציפיים שאינם תואמים לטקסט.
- הערכת עקביות חזותית
בניית מסננים שמנפים תמונות עם עיוותים או פגמים לוגיים לפי ציוני קוהרנטיות.
- ניתוח מילים חסרות
בדיקת מידת ההצלחה של מודלי שפה ותמונה ברינדור כל מרכיבי הפרומפט.
איפה זה נופל
היוצרים מציינים במפורש שקשה לתייג התאמה באופן אחיד, למשל כשעצם שלם חסר בתמונה והמתייגים לא יודעים איפה לסמן את השגיאה. כל הפרומפטים והסימונים מוגבלים לשפה האנגלית בלבד, כך שאין כאן מידע על ביצועים בעברית. איסוף התגובות לקח חמישה ימים בלבד, והפרומפטים אינם מתארים בדיוק אילו מודלי מקור יצרו את התמונות במאגר זה, מה שמחייב לבדוק את טיב התמונות לפני שמסתמכים עליהן לאימון.
אותה משפחה
text-2-image-Rich-Human-Feedback יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן. הדאטהסט מופץ ברישיון Apache 2.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים למוצרים מסחריים. הדרישה העיקרית היא מתן קרדיט והשארת הודעת הרישיון המקורית.
האם יש במאגר נתונים בעברית?
לא. כל הפרומפטים והמתייגים של רכיבי הטקסט הוגדרו באנגלית בלבד. מודל שיאומן על הנתונים האלה לא ילמד התאמות לשוניות לשפה העברית.
איך נאספו התיוגים והאם הם אמינים?
הנתונים נאספו באמצעות הפלטפורמה של Rapidata מ־152,684 משתמשים ברחבי העולם תוך כחמישה ימים. כל תמונה נבדקה על ידי לפחות 21 אנשים שונים, מה שמייצר ממוצע יציב, אם כי היוצרים עצמם מודים שלמתייגים קשה לדייק בסימון עצמים שחסרים לגמרי בתמונה.
במה הוא שונה ממאגרי העדפות רגילים כמו Image Arena?
רוב מאגרי ההעדפות מציגים בחירה בינארית של איזה תמונה יפה יותר. כאן יש פירוק לניקוד נפרד של סגנון, אמינות והתאמה, יחד עם הצבעה על מילים חסרות ומפות חום על גבי הפיקסלים הבעייתיים.
איך טוענים
טוענים אותו בספריית datasets עם הכתובת Rapidata/text-2-image-Rich-Human-Feedback בחלוקת train. המאגר מכיל בין מיליון לעשרה מיליון רשומות המחולקות ל־55 קובצי Parquet, ולכן כדאי להפעיל סטרימינג עם streaming=True כדי להימנע מהורדה ארוכה. אין צורך באישור גישה מראש. השדות המרכזיים כוללים את התמונה, הטקסט, word_scores למילים שגויות, alignment_heatmap למפת החום של אי ההתאמה, וציוני הלייקרט.
from datasets import load_dataset
ds = load_dataset("Rapidata/text-2-image-Rich-Human-Feedback")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם בקוד סגור, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. אין חובה לשתף את הקוד שלכם או את הנגזרות באותו רישיון, ומותר להשתמש במודלים שאומנו עליו באופן מסחרי חופשי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים