HPDv3
קוד פתוחMizzenAImit2025-08-08
המאגר כולל 1.17 מיליון השוואות זוגיות בין תמונות כדי למדוד העדפות אנושיות. הוא נועד למי שמאמן או בוחן מודלי תגמול למחוללי תמונה, עם מגוון שנע בין צילומים אמיתיים לדגמי דיפוזיה חדשים.
- 1,359הורדות בחודש
- 25לייקים
מה זה
הנתונים מורכבים מזוגות של תמונות לצד הפרומפט המקורי שלהן, כאשר בכל זוג מוגדר איזה דימוי הועדף על פני השני. המאגר מכיל 1.08 מיליון זוגות תמונה וטקסט. המקורות מגוונים במכוון: תמונות אמיתיות באיכות גבוהה לצד צילומים פשוטים, תוצרים של מחוללים מתקדמים כמו פלאקס, קולורס והוניואן, וגם פלטים ממודלים ישנים יותר כמו סטייבל דיפיוז'ן 1.1 וגלייד.
הקובץ המרכזי all.json מרכז את כל הזוגות המתויגים לאימון. תת הקבוצה train.json דוגמת מתוכו ומשלבת מידע נוסף ממאגרים חיצוניים, פיק א פיק ואימג' ריוורד, אם כי התמונות עבורם לא יושבות כאן אלא במאגרים המקוריים שלהם. סט הבחינה test.json וקבצי הבנצ'מרק לפי נושאים כוללים השוואות ייעודיות לבדיקת מודלים, בין היתר על דגמים שמופיעים רק במבחן כמו פיקסארט סיגמה וקוגוויו 4.
מתאים ל
- אימון מודלי תגמול
לימוד העדפות משתמש להערכת איכות של תמונות שנוצרו על ידי מחוללים.
- בנצ'מרק למחוללי תמונה
השוואה ובדיקה של ביצועי מודלי ייצור תמונה מול העדפות אנושיות.
- סינון תוצרי דיפוזיה
בחירת התוצאה הוויזואלית הטובה ביותר מתוך כמה אפשרויות שנוצרו מאותו פרומפט.
איפה זה נופל
כל הטקסטים והפרומפטים במאגר הם באנגלית בלבד. אין כאן ייצוג לעברית או להקשרים מקומיים, כך שמודל שמתבסס עליו יתקשה לדרג איכות של תמונות לפי תיאורים בשפות אחרות.
בנוסף, חלק מהנתונים בסט האימון מסתמכים על מאגרים חיצוניים, והתמונות שלהם אינן מצורפות להורדה הישירה. אם תרצו להשתמש בהם במלואם, תצטרכו להוריד קבצים נוספים ממקורות נפרדים ולחבר ביניהם בעצמכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. המאגר פורסם תחת רישיון MIT, שאינו מגביל שימוש מסחרי. מותר לאמן עליו מודלים ולהטמיע אותם במוצרים, כל עוד שומרים על תנאי הייחוס של הרישיון.
האם יש במאגר תמיכה בעברית?
לא. כל הפרומפטים והנתונים הטקסטואליים הם באנגלית בלבד. אם המערכת שלכם עובדת בעברית, תצטרכו לתרגם את הפרומפטים או להוסיף דאטה מקומי משלכם.
איך מורידים את התמונות בפועל?
התמונות ארוזות בקבצי ארכיון מכווצים ומפוצלים ישירות במאגר. פותחים אותם על ידי שרשור הפקודה בטרמינל לחילוץ קבצי tar.gz, והנתונים המקשרים יושבים בקובצי json נפרדים.
האם כל התמונות נמצאות בתוך ההורדה הזו?
לא כולן. עבור הנתונים שנלקחו ממאגרי Pick-a-pic ו־ImageReward, המאגר מספק רק את קובצי המיפוי של ההשוואות, ואת קובצי התמונה עצמם תצטרכו להוריד מהמאגרים המקוריים שלהם.
איך טוענים
הגישה למאגר פתוחה ללא צורך באישור מיוחד. התמונות מחולקות לקבצי ארכיון מפוצלים, ונדרש לאחד ולחלץ אותן מקומית באמצעות שורת פקודה שמשרשרת את הקבצים. קובץ הנתונים מציג מבנה פשוט שבו הנתיב הראשון מייצג תמיד את התמונה המועדפת, הנתיב השני את הלא מועדפת, לצד שמות המודלים שיצרו כל תמונה והפרומפט ששימש ליצירה.
from datasets import load_dataset
ds = load_dataset("MizzenAI/HPDv3")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, מחקרי ושינוי של הנתונים, תחת הדרישה היחידה לשמור על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף תחת אותו רישיון, ומודל שאומן על המאגר אינו מוגבל בהפצה מסחרית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש