700k_Human_Preference_Dataset_FLUX_SD3_MJ_DALLE3
קוד פתוחRapidatacdla-permissive-2.02024-11-07
המאגר מרכז מעל 700 אלף הצבעות של משתמשים אמיתיים על תמונות שנוצרו בארבעה מודלים מובילים. הוא מיועד למי שרוצה לאמן מודל תגמול או לכייל מודל תמונה לפי העדפות אנושיות.
- 651הורדות בחודש
- 20לייקים
מה זה
במאגר תמצאו השוואות זוגיות בין תמונות שנוצרו באמצעות Flux.1, DALL-E 3, Midjourney ו־Stable Diffusion 3. הנתונים מבוססים על 282 פרומפטים מוגדרים שנבדקו על ידי 144,292 מדרגים מ־145 מדינות שונות. הרשומות מציגות את הבחירות של המשתתפים לצד פרטים דמוגרפיים כמו גיל, מגדר ומיקום גיאוגרפי.
הקובץ הזה הוא חלק אחד מתוך פרויקט רחב יותר של מעל שני מיליון הצבעות שנאספו תוך 48 שעות. הפרויקט המלא פוצל לשלושה מאגרים נפרדים לפי מטרות הבדיקה. החלק הנוכחי ממוקד כולו בהעדפה כללית של המשתמשים, בעוד ששני המאגרים האחרים בודקים עקביות תמונה והתאמה מדויקת בין הטקסט לתוצאה הוויזואלית.
מתאים ל
- אימון מודלי תגמול
כיול מודל לתעדוף תוצאות ויזואליות לפי החלטות של מדרגים אנושיים.
- הערכת ביצועי מודלים
השוואת ביצועים ודירוג איכות בין ארבעה מחוללי תמונות שונים.
- מחקר העדפות תרבותיות
ניתוח הבדלי טעם לפי חיתוך גיאוגרפי ודמוגרפי של המדרגים.
איפה זה נופל
הבעיה המרכזית כאן היא כמות הפרומפטים. יש במאגר 282 פרומפטים בלבד, כולם באנגלית, מה שאומר שהמודל שלכם יראה המון וריאציות והעדפות של אנשים שונים אבל על מגוון נושאים מצומצם מאוד. מי שבונה מוצר לעברית או צריך הבנה של ניואנסים תרבותיים מקומיים לא ימצא כאן מענה. בנוסף, קיימת כבר גרסה חדשה יותר של המאגר שכוללת מודלים עדכניים יותר כמו Imagen 3 ו־Flux 1.1, כך שהנתונים כאן כבר פחות מייצגים את חזית הטכנולוגיה הנוכחית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cdla-permissive-2.0 מתיר שימוש מסחרי מלא. אתם נדרשים רק לספק ייחוס למחברים ולשמור על נוסח הרישיון המקורי בקבצי המקור.
האם יש במאגר פרומפטים בעברית?
לא, כל 282 הפרומפטים שנבדקו כתובים באנגלית בלבד. המדרגים אמנם הגיעו ממדינות רבות, אבל הטקסט שהוזן למחוללים הוא אנגלי.
איך אספו את ההצבעות כל כך מהר?
החברה השתמשה בתשתית ה־API שלה שפיזרה משימות השוואה זוגיות לכ־144 אלף משתמשים ברחבי העולם. כל איסוף הנתונים הסתיים תוך יומיים בלבד.
האם כדאי להשתמש במאגר הזה או בגרסה החדשה שלו?
אם אתם צריכים את המודלים העדכניים ביותר, עדיף לפנות לגרסה החדשה שכוללת גם את Imagen 3 ו־Flux 1.1. המאגר הנוכחי מתאים אם המחקר שלכם מוגבל ספציפית למודלים כמו DALL-E 3 ו־Midjourney.
איך טוענים
הנתונים מחולקים לעשרות קובצי Parquet ששמורים תחת תיקיית data, כך שמומלץ למשוך אותם ישירות דרך ספריית datasets בלי להסתבך עם הורדה ידנית. המאגר פתוח לכולם ולא דורש הרשמה מיוחדת או אישור גישה מראש. לפני שמתחילים לרוץ על כל הקבצים, שימו לב שהעבודה דורשת עיבוד של נתוני ההצבעה לצד השדות הדמוגרפיים של המדרגים, ולכן כדאי לפלטר מראש עמודות שלא קשורות למשימת האימון שלכם כדי לחסוך זיכרון עבודה יקר.
from datasets import load_dataset
ds = load_dataset("Rapidata/700k_Human_Preference_Dataset_FLUX_SD3_MJ_DALLE3")הרישיון
המאגר מופץ תחת רישיון cdla-permissive-2.0, שמתיר שימוש חופשי כולל שימוש מסחרי ואימון מודלים. הרישיון דורש לשמור על הודעת הרישיון המקורית ולתת קרדיט למפרסמים, אך אינו מחייב אתכם לשתף את המודלים שתאמנו או את תוצרי הפיתוח שלכם תחת אותו הרישיון.