bananamark-dataset

מה זה

המאגר מבוסס על ניסוי השוואתי שבוחן איזה מודל מייצר בננות בצורה הטובה ביותר, בעקבות השקת המודל Nano Banana של גוגל. היוצרים בחנו אחד עשר מודלים ליצירת תמונות, ביניהם גרסאות שונות של FLUX 2, מודלים של גוגל, Recraft, Ideogram ואחרים, תוך שימוש בפרומפטים שונים סביב נושא הבננות.

הנתונים נאספו באמצעות ה־API של חברת Rapidata, כאשר מתייגים אנושיים נחשפו לתמונות שנוצרו והתבקשו לענות על שאלה אחת בלבד: באיזו תמונה הבננות יצאו טובות יותר. התוצאה היא מעל עשרים אלף השוואות צמד שמדרגות את ביצועי המודלים לפי העדפת אדם, ברמת פירוט שמאפשרת ניתוח של נקודות תורפה ויזואליות ביצירת פירות.

המבנה של המאגר מחולק לארבעה קבצי Parquet שמכילים יחד את כל נתוני האימון וההשוואות, בהיקף כולל של בין עשרת אלפים למאה אלף שורות. אין כאן חלוקה מראש לסט מבחן או אימות, כך שכל הנתונים מרוכזים בחלק אחד שנועד לניתוח ביצועים או לאימון מודלי תגמול.

מתאים ל

• אימון מודלי העדפה

  אימון מודלי Reward מבוססי השוואת צמדים עבור מערכות RLHF ביצירת תמונות.

• הערכת ביצועי מודלים

  בנצ'מרק של מודלי Text-to-Image על יכולת דיוק ברינדור פריטים קונקרטיים.

• מחקר החלטות אנושיות

  בדיקת העקביות של מתייגים בשיפוט איכות ויזואלית לפי שאלה מנחה פשוטה.

איפה זה נופל

ההטיה המרכזית ברורה וקיצונית: כל המידע עוסק אך ורק בבננות ובפרומפטים סביב הפרי הזה באנגלית. אי אפשר להסיק מהתוצאות שום דבר על ביצועי המודלים באובייקטים מורכבים אחרים, בטקסטורה אנושית או בהבנת סצנות רחבות. בנוסף, הכרטיס לא מפרט מיהם המתייגים, מה הרקע הדמוגרפי שלהם או מה בדיוק הוגדר כבננה טובה יותר, מה שמשאיר את שיפוט האיכות סובייקטיבי לחלוטין וללא מדדי עקביות מוצהרים.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה Rapidata/bananamark-dataset בלי צורך באישור גישה או מפתח מיוחד. המידע שמור בארבעה קבצי Parquet תחת תיקיית data, כך שמומלץ לעבוד עם קריאה ישירה לקבצים אלה אם מעוניינים לעבד רק חלק מההשוואות. רצוי לבדוק מראש את שדות ההשוואה בין התמונות, את זיהוי המודלים שהתחרו בכל סבב ואת הבחירה הסופית של המתייג האנושי.

from datasets import load_dataset

ds = load_dataset("Rapidata/bananamark-dataset")

הרישיון

המאגר פורסם תחת רישיון cdla-permissive-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת הרישיון המקורית. הרישיון הזה מתיר לאמן מודלים על הדאטהסט בלי לחייב אתכם לשחרר את המודל המאומן או את הנגזרות שלו תחת אותו רישיון.

הרישיון המלא ב־Hugging Face ↗