kontext-bench
קוד פתוחblack-forest-labsmit2025-06-26
מאגר מבחן לעריכת תמונות מבוססת הוראות טקסטואליות. הוא מיועד למי שרוצה לבדוק מודלים על משימות עריכה מקומית וגלובלית מול תמונות מקור מוגדרות.
- 340הורדות בחודש
- 65לייקים
מה זה
המאגר כולל 1026 זוגות של תמונה והנחיית עריכה, שנוצרו מתוך 108 תמונות בסיס בלבד שמקורן באתרי התמונות Unsplash ו־Pexels. כל רשומה מייצגת משימת עריכה שמופעלת על תמונת המקור, והנתונים מיועדים למדידת ביצועים של מודלים שמייצרים או עורכים תוכן חזותי.
המשימות מחולקות לחמש קטגוריות ברורות. החלק הגדול ביותר מוקדש לעריכה מקומית עם 416 מקרים, ועריכה גלובלית עם 262 מקרים. שאר הרשומות מתחלקות בין עקביות דמות עם 193 מקרים, עריכת טקסט בתוך תמונה עם 92 מקרים, והתאמת סגנון ויזואלי עם 63 מקרים בלבד.
המבנה של המאגר שטוח ומכיל פיצול יחיד של מבחן. הקבצים כוללים תיקיית תמונות בפורמט JPG וקובץ מטא-דאטה שמרכז את כל ההוראות, קטגוריית המשימה והמפתחות שמקשרים בין ההנחיה לתמונת המקור.
מתאים ל
- בדיקת מודלי עריכת תמונה
מדידת הדיוק של מודל גנרטיבי בביצוע פקודות עריכה מקומיות וגלובליות באנגלית.
- מבחן שמירה על דמות
בדיקת יכולת המודל לשמור על זהות של דמות לאורך שינויים שונים לפי 193 הדוגמאות הייעודיות.
- בדיקת החלפת סגנון
הערכת היכולת לקחת תמונת מקור ולהחיל עליה סגנון ויזואלי חדש על בסיס טקסט.
איפה זה נופל
הבעיה המרכזית כאן היא המדגם הקטן. יש במאגר רק 108 תמונות מקור, כך שאם המודל שלכם מתקשה בסגנון או אובייקט מסוים שאינו מיוצג בתמונות הבסיס, לא תקבלו על כך אינדיקציה. בנוסף, כל ההנחיות כתובות באנגלית בלבד ואין בו תמיכה בעברית. הכרטיס גם מגביל את השימוש למחקר ומדע בלבד, כך שלא תוכלו להריץ עליו מבחני קבלה ישירים לתשתיות מסחריות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. למרות שהרישיון המוגדר הוא MIT, המפרסמים ציינו במפורש שהמאגר והתמונות זמינים למטרות מדעיות ומחקריות בלבד. אם אתם בונים שירות מסחרי, לא כדאי להסתמך עליו כבסיס ישיר.
כמה המאגר שוקל וכמה נתונים יש בו?
המאגר קטן מאוד ומכיל 111 קבצים בסך הכל. יש בו 108 תמונות מקור בפורמט JPG וקובץ מטא-דאטה אחד שמרכז 1026 זוגות של תמונה והנחיה.
האם יש במאגר תמיכה בעברית?
לא, כל הוראות העריכה כתובות באנגלית בלבד. אם המודל שלכם אמור לפעול על הוראות בעברית, תצטרכו לתרגם את הטקסטים בעצמכם או לבנות סט בדיקה נפרד.
מאיפה הגיעו התמונות במאגר?
תמונות הבסיס נאספו מהפלטפורמות Unsplash ו־Pexels מצלמים שונים. על בסיס 108 התמונות האלה נכתבו ההנחיות לחמש קטגוריות העריכה השונות.
איך טוענים
המאגר יושב במבנה קבצים פשוט ופתוח להורדה ישירה ללא צורך באישור גישה. הוא כולל 111 קבצים בסך הכל, כשבפנים נמצאת תיקיית תמונות וקובץ מטא-דאטה בשם metadata.jsonl.
בזמן הטעינה, כל שורה בקובץ הנתונים מספקת את הנתיב לתמונה בשדה file_name, את הוראת העריכה בשדה instruction, ואת סוג המשימה בשדה category. לצורך הצלבה ובדיקה עקבית של מספר הנחיות מול אותה תמונת מקור, חשוב לשים לב לשדות המזהים כמו key, img_idx ו־prompt_idx שמחברים בין ההוראות לתמונות הבסיס.
from datasets import load_dataset
ds = load_dataset("black-forest-labs/kontext-bench")הרישיון
הרישיון המדווח הוא MIT, שמתיר שימוש נרחב, אך הטקסט של היוצרים מגביל את התמונות והבנצ'מרק למטרות מחקר ומדע בלבד. התמונות נאספו מיוצרים ב־Unsplash וב־Pexels. מודל שאומן או נבדק על המאגר מוגבל בפועל בגלל החרגת השימוש המסחרי שקבעו היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש