OpenAI-4o_t2i_human_preference
קוד פתוחRapidatacdla-permissive-2.02025-03-27
המאגר מרכז השוואות ראש בראש בין תמונות שיצר מודל התמונה של 4o לבין תריסר מודלים מתחרים. הוא נועד למי שרוצה לאמן מודלי תגמול או לבדוק התאמת תמונה להנחיה לפי שיפוט אנושי.
- 893הורדות בחודש
- 34לייקים
מה זה
הנתונים כוללים מעל 200,000 תגובות אנושיות שנאספו מכ־45,000 מתייגים שונים תוך פחות מחצי יום, באמצעות ממשק ה־API של Rapidata. כל רשומה מבוססת על השוואת תמונה מול תמונה בין גרסת OpenAI 4o מסוף מרץ 2025 לבין 12 מודלים אחרים, בהם Flux-1.1-pro, Midjourney-5.2, SD3, Imagen-3 ו־DALL-E 3.
ההערכה מחולקת לשלושה צירים מוגדרים. התאמה להנחיה שבדקה איזה פלט תואם יותר לתיאור, כולל הנחיות אבסורדיות ומורכבות בכוונה. עקביות ויזואלית שנמדדה בלי להראות למתייגים את ההנחיה המקורית ובדקה איזה פריים מכיל יותר גליצ'ים ופגמים. והעדפה אסתטית כללית שבדקה מה נראה טוב יותר בעין בלי קשר לטקסט.
מתאים ל
- אימון מודלי תגמול
לימוד דירוג אנושי עבור אלגוריתמי RLHF ויישור מודלי יצירת תמונה להעדפות משתמשים.
- בנצ'מרק להתאמת פרומפטים
בדיקת יכולת המודל להתמודד עם תיאורים מורכבים ולא הגיוניים בהשוואה למתחרים מובילים.
- זיהוי ארטיפקטים ויזואליים
אימון מסווגים שמאתרים עיוותים וגליצ'ים של בינה מלאכותית על בסיס תיוג עקביות.
איפה זה נופל
ההנחיות כוללות טקסטים באנגלית בלבד. אם המוצר שלכם פונה לקהל מקומי בעברית או נשען על ניואנסים תרבותיים, המאגר לא מייצג את זה. נוסף על כך, הדאטהסט תוכנן סביב מודל אחד מגרסה ספציפית מאוד ממרץ 2025. כל השוואה כאן מעמידה את 4o מול מודל בודד, כך שאין כאן מבחן רוחבי ניטרלי בין כל הכלים בשוק. איסוף מהיר של מאות אלפי תוויות בחצי יום מעלה שאלות לגבי רמת הקשב של המתייגים, במיוחד במשימות עדינות כמו איתור עיוותים זעירים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא cdla-permissive-2.0, שמתיר שימוש מסחרי רחב, הפצה ושינוי. מותר לאמן עליו מודלים מסחריים בלי לחשוף את הקוד שלכם.
האם יש בדאטהסט תמיכה בעברית?
לא. כל ההנחיות והתיוגים נאספו באנגלית בלבד. אם המודל שלכם אמור לעבוד עם פרומפטים בעברית, תצטרכו לתרגם אותם או לאסוף מידע ייעודי.
איך נאספו התיוגים בפועל?
החברה השתמשה ב־API שלה כדי לחלק משימות השוואה ללמעלה מ־45,000 מתייגים שונים. התהליך כולו הושלם בפחות מחצי יום, ובחן התאמה להנחיה, עקביות ללא הנחיה והעדפה כללית.
האם המאגר משווה בין כל המודלים בשוק?
לא באופן ישיר. כל בדיקה היא השוואת ראש בראש של OpenAI 4o מול אחד מ־12 מודלים אחרים, כך שאין כאן נתוני השוואה ישירים בין SD3 ל־Midjourney למשל.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה בפייתון, ללא צורך באישור גישה מקדים או מפתח ייעודי מול Hugging Face. המאגר מכיל 24 קבצים בסך הכל, מתוכם 23 קובצי Parquet של סט האימון. בפנים תמצאו את התמונות, תיאורי הטקסט והתפלגות בחירות המתייגים. כדאי לקחת בחשבון שמשיכת עשרות אלפי רשומות שמחזיקות תמונות מלאות דורשת רוחב פס יציב ונפח אחסון מקומי פנוי.
from datasets import load_dataset
ds = load_dataset("Rapidata/OpenAI-4o_t2i_human_preference")הרישיון
הרישיון המדווח הוא cdla-permissive-2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי ושיתוף של הנתונים כמעט בלי מגבלות. אין חובה לשתף נגזרות תחת אותו רישיון, ומותר להשתמש במידע כדי לאמן מודלים פנימיים או מוצרים מסחריים, כל עוד שומרים על תנאי הייחוס הבסיסיים של הרישיון.