GenAI-Bench
קוד פתוחBaiqiLapache-2.02024-03-07
המאגר כולל 1,600 פרומפטים מורכבים עם תמונות שנוצרו בשישה מודלים שונים וציוני התאמה אנושיים. הוא נועד לבחון לעומק את היכולת של מודלי תמונה להבין קשרים, ספירה ולוגיקה.
- 673הורדות בחודש
- 24לייקים
מה זה
הנתונים מכילים 1,600 רשומות, כאשר כל רשומה כוללת פרומפט טקסטואלי, תיוג יכולות, ותמונות שנוצרו ישירות משישה מודלים מובילים: DALLE 3, Midjourney v6, DeepFloyd I XL v1, ושלוש גרסאות שונות של SDXL. לצד התמונות מצורפים ציוני התאמה שניתנו על ידי בני אדם בסולם של 1 עד 5, כאשר כל זוג תמונה וטקסט קיבל שלושה דירוגים שונים.
הפרומפטים נאספו ממעצבים מקצועיים שמשתמשים בפלטפורמות כמו Midjourney ו־CIVITAI, כדי לשקף שימוש אמיתי ומורכב. כל פרומפט תויג ידנית ביכולות קומפוזיציוניות בשתי רמות: יכולות בסיסיות כמו סצנה, תכונות ויחסים, ויכולות מתקדמות שדורשות ספירה, השוואה, הבדלה וחשיבה לוגית. בסך הכל המאגר מחזיק 9,600 תמונות ומעל 28,000 דירוגים אנושיים.
מתאים ל
- הערכת מודלי תמונה
בדיקת הדיוק של מודלי טקסט לתמונה בהבנת יחסים מורכבים, ספירה והיגיון בסצנה.
- פיתוח מדדי הערכה
בנייה וכיול של מדדים אוטומטיים לאיכות תמונה מול הדירוגים שנתנו מעריכים אנושיים.
- השוואת ביצועים תחרותית
הרצת מבחן מובנה של 1,600 פרומפטים כדי לבחון מודל חדש מול תוצרי Midjourney ו־DALLE 3.
איפה זה נופל
כל הפרומפטים במאגר נכתבו באנגלית בלבד, כך שאין שום ייצוג לעברית או לשפות אחרות. התמונות משקפות את ביצועי המודלים נכון לזמן האיסוף בתחילת 2024, ומודלים חדשים יותר לא מיוצגים בתוצרים. מעבר לכך, הנתונים מתאימים לבדיקת ביצועים ולהערכת מדדי איכות אוטומטיים, אבל גודל המדגם קטן מדי לאימון מלא של מודלי ייצור תמונה מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא Apache 2.0 והוא מתיר שימוש מסחרי מלא. צריך רק לשמור על הודעת זכויות היוצרים והייחוס לצוות מ־CMU ו־Meta שפרסם אותו.
האם יש במאגר טקסטים או פרומפטים בעברית?
לא. המאגר מוגדר ומכיל אך ורק פרומפטים בשפה האנגלית. כדי לבחון מודל בעברית תצטרכו לתרגם את הפרומפטים באופן עצמאי.
איך אספו את הפרומפטים והתמונות?
הפרומפטים הגיעו ממעצבים מקצועיים שמשתמשים בפלטפורמות גרפיות, ועברו תיוג ידני. לאחר מכן הריצו אותם על שישה מודלים שונים, ושלושה מעריכים אנושיים דירגו כל תוצאה בסולם של 1 עד 5.
במה הוא שונה ממאגרי בחינה ישנים כמו PartiPrompt?
המאגר מתמקד ביכולות קומפוזיציוניות מתקדמות כמו יחסים מרחביים, ספירת עצמים ולוגיקה, ולא רק בסצנות פשוטות. בנוסף, הוא כולל תמונות שנוצרו בפועל עם ציוני התאמה אנושיים ולא רק רשימת טקסטים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה load_dataset לתוך המזהה BaiqiL/GenAI-Bench. המאגר פתוח לציבור ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט Parquet שמחולק ל־12 חלקים, ומכילים ישירות את התמונות כעמודות מסוג תמונה של ספריית PIL. השדות המרכזיים לעבודה הם Prompt, שדות התגיות שמפרטים את היכולות שנבדקות, ועמודות הדירוג האנושי HumanRatings.
from datasets import load_dataset
ds = load_dataset("BaiqiL/GenAI-Bench")הרישיון
המאגר מופץ תחת רישיון Apache 2.0, שמתיר שימוש מסחרי, מחקרי ושינוי של החומר ללא תשלום תמלוגים. התנאי המרכזי הוא מתן ייחוס מתאים ליוצרים ושמירה על תנאי הרישיון. שימוש בנתונים לאימון מודל או לכיול מדדים אינו כובל אתכם לחלוק את המודל עצמו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים