text-2-image-Rich-Human-Feedback-32k
קוד פתוחRapidataapache-2.02025-04-24
המאגר מכיל תמונות מחוללות עם ציוני איכות אנושיים, סימוני מילים שלא הופיעו בתמונה ומפות חום שמצביעות על שגיאות. הוא מתאים למי שרוצה לאמן מודל תגמול מדויק ולא רק להסתמך על העדפה כללית.
- 543הורדות בחודש
- 26לייקים
מה זה
הנתונים מבוססים על תמונות מתוך המאגר open-image-preferences-v1, שעליהן נאספו מעל 3.7 מיליון תשובות של בני אדם דרך Rapidata. כל רשומה כוללת תמונה, פרומפט באנגלית, וציונים ממוצעים בסולם של 1 עד 5 עבור סגנון, קוהרנטיות והתאמה לפרומפט. בכל תמונה התקבלו לפחות 21 תשובות לכל מדד.
בנוסף לציונים הכלליים, מתייגים סימנו ישירות מילים מתוך הפרומפט שלא קיבלו ביטוי ויזואלי בתמונה. עבור תמונות שקיבלו ציון קוהרנטיות נמוך מ־3.5 או ציון התאמה נמוך מ־3.2, בוצע סבב תיוג נוסף שבו משתמשים הצביעו על אזורים ספציפיים עם פגמים, וכך נוצרו מפות חום של שגיאות.
מתאים ל
- אימון מודלי תגמול
אימון מודלי הערכה מפורטים שמזהים אזורים בעייתיים ולא רק נותנים ציון בוליאני לתמונה שלמה.
- בנצ'מרק של התאמת טקסט
מדידת ביצועים של מודלי יצירת תמונה לפי מילים ספציפיות שהמודל השמיט מתוך הפרומפט.
- איתור עיוותים ויזואליים
שימוש במפות החום ובציוני הקוהרנטיות לאימון מודלים לזיהוי ארטיפקטים ועיוותים מבניים.
איפה זה נופל
הפרומפטים והסימונים במאגר קיימים באנגלית בלבד, כך שאינו מתאים ישירות לפיתוח מודלים בעברית ללא תרגום והתאמה. בנוסף, המפרסמים מציינים קושי מובנה באחידות התיוג של חוסר התאמה לפרומפט, כאשר אובייקט חסר לגמרי מקשה על מתייגים לסמן מיקום ברור על גבי התמונה, מה שיוצר רעש במפות החום. חובה לבדוק את איכות המפות לפני שמסתמכים עליהן לאימון.
אותה משפחה
text-2-image-Rich-Human-Feedback יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן. המאגר מפורסם תחת רישיון apache-2.0 שמאפשר שימוש מסחרי מלא, כולל אימון מודלים סגורים. התנאי העיקרי הוא מתן קרדיט ושמירה על תנאי הרישיון.
האם המאגר כולל נתונים בעברית?
לא. השפה המוגדרת במאגר היא אנגלית בלבד. התיוג והפרומפטים נעשו כולם באנגלית, ומשתמשים שהתבקשו לסמן מילים עברו סינון ייעודי לדוברי אנגלית.
איך נאספו התיוגים ומפות החום?
התיוגים נאספו באמצעות מערכת Rapidata תוך פחות משבועיים, וכללו מעל 3.7 מיליון תשובות ממשתמשים מ־156 מדינות. כל תמונה נבדקה על ידי לפחות 21 אנשים לציוני סגנון, קוהרנטיות והתאמה, ותמונות עם ציונים נמוכים נשלחו לסבב סימון נוסף שיצר את מפות החום.
כמה קבצים כולל המאגר ואיך ניגשים אליהם?
המאגר מכיל 236 קבצים בסך הכל, מתוכם 235 קובצי parquet המכילים את הנתונים והתמונות. בגלל הגודל, מומלץ להשתמש בטעינה עם streaming דרך ספריית datasets במקום להוריד הכל בבת אחת.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה Rapidata/text-2-image-Rich-Human-Feedback-32k עם split של train. המאגר פתוח לציבור ללא צורך באישור גישה, והוא מפוצל ל־235 קובצי parquet מתוך 236 קבצים במאגר. עקב המשקל הרב של התמונות, מומלץ להפעיל את הפרמטר streaming=True לבדיקות ראשוניות. השדות המרכזיים לעבודה הם image, prompt, word_scores וכן alignment_heatmap עבור מפות החום.
from datasets import load_dataset
ds = load_dataset("Rapidata/text-2-image-Rich-Human-Feedback-32k")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של המידע, ללא חובה לשתף נגזרות תחת אותו רישיון בדיוק. נדרש לשמור על הודעות זכויות היוצרים ולתת ייחוס ליוצרים המקוריים, אך מותר לאמן עליו מודלים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים