emu_edit_test_set
קוד פתוחfacebookרישיון לא דווח2023-11-13
סט מבחן של מטא לעריכת תמונות מונחית טקסט על בסיס שבע פעולות מוגדרות. מתאים למי שרוצה לבדוק דיוק של מודל עריכה מול הוראות אנושיות ותיאורי קלט ופלט.
- 573הורדות בחודש
- 47לייקים
מה זה
המאגר נבנה כדי להעריך מודלים של עריכת תמונות לפי שבע קטגוריות ברורות, שכוללות שינוי רקע, עריכה גלובלית, סגנון, הסרת עצמים, הוספת עצמים, שינויים מקומיים ושינויי צבע או טקסטורה. הבסיס הגיע מתמונות הקלט של המאגר MagicBrush, ועובדי מיקור חוץ ניסחו עבורן הוראות עריכה מורכבות.
כדי לשמור על איכות, המפתחים העבירו את הנתונים סינון נוסף שבו עובדים פסלו הוראות לא רלוונטיות. בנוסף להוראות, כל דוגמה כוללת תיאור של תמונת הקלט ותיאור של תמונת הפלט הרצויה, כך שאפשר לבחון גם שיטות שמסתמכות על השוואת טקסטים ולא רק על פקודת עריכה בודדת. המאגר מחולק לקובצי מבחן ואימות.
מתאים ל
- מבחן ביצועים למודלי עריכה
מדידת הדיוק של מודל עריכת תמונות מול הוראות טקסט אנושיות בשבע קטגוריות שינוי שונות.
- הערכה עם תיאורי תמונה
בדיקת שיטות עריכה שדורשות פרומפט קלט ופרומפט פלט מקבילים, כמו prompt2prompt.
- השוואה לתוצאות Emu Edit
העמדת תוצאות מודל חדש מול הפלטים הרשמיים שמטא פרסמה על אותן תמונות בדיוק.
איפה זה נופל
ההוראות והתיאורים נאספו באנגלית בלבד על ידי עובדי מיקור חוץ, כך שאין כאן שום תמיכה בעברית או בשפות אחרות. המאגר מיועד לבדיקה ולהערכה ולא לאימון רחב היקף, והוא נשען על חלוקה נוקשה של שבע קטגוריות עריכה שלא תמיד מייצגת את האופן המבולגן שבו משתמשי קצה כותבים בקשות בחיים האמיתיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. כרטיס המאגר מגדיר רישיון CC-BY-NC 4.0, שאוסר במפורש שימוש מסחרי מכל סוג. הנתונים מתאימים למחקר, ניסויים פנימיים והערכת מודלים בלבד.
האם יש במאגר הוראות בעברית?
לא, כל ההוראות ותיאורי התמונות נאספו באנגלית על ידי עובדי מיקור חוץ. אם המודל שלכם אמור לקבל פקודות בעברית, תצטרכו לתרגם את ההוראות עצמאית או לבנות סט בדיקה משלכם.
מאיפה הגיעו התמונות המקוריות?
תמונות הקלט נלקחו מתוך מאגר הבנצ'מרק MagicBrush. עובדי מיקור חוץ הוסיפו עבורן הוראות עריכה חדשות ותיאורים ייעודיים, ואז עברו סינון איכות נוסף לפסילת הוראות לא תואמות.
האם המאגר כולל גם תמונות תוצאה ערוכות?
המאגר עצמו מכיל את תמונות הקלט, ההוראות ותיאורי הטקסט של הקלט והפלט. כדי לראות את התמונות הערוכות שנוצרו על ידי המודל של מטא, צריך להוריד מאגר נפרד שהם פרסמו עם הפלטים של Emu Edit.
איך טוענים
אתם טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה של מטא, בלי צורך באישור גישה מוקדם או במפתחות מיוחדים. המאגר יושב בקובצי parquet שמחולקים מראש לפיצולי test ו־validation, כך שתוכלו למשוך רק את החלק הרלוונטי לבדיקה שלכם.
השדות המרכזיים שמעניינים אתכם הם תמונת המקור, הוראת העריכה, ושני התיאורים של הקלט והפלט. אם אתם רוצים להשוות ביצועים מול התוצאות של מודל Emu Edit עצמו, מטא שחררה מאגר נפרד עם הפלטים שלו על אותו סט מבחן בדיוק.
from datasets import load_dataset
ds = load_dataset("facebook/emu_edit_test_set")הרישיון
למרות שבפרטי המאגר הכלליים רשום שהרישיון לא דווח, הטקסט של כרטיס הדאטהסט מציין במפורש רישיון CC-BY-NC 4.0. המשמעות פשוטה וישירה: השימוש מוגבל למחקר ולמטרות לא מסחריות בלבד, עם חובת מתן קרדיט. אי אפשר לקחת את הנתונים האלה, לשלב אותם במוצר מסחרי או להשתמש בהם כדי לייצר ערך כלכלי ישיר.