svg-benchmark
קוד פתוחRapidatacc-by-4.02026-06-23
המאגר מרכז השוואות ראש בראש של קוד SVG שיוצר על ידי מודלי שפה, מלוות בהצבעות אנושיות. הוא נותן מדד ישיר לאיכות הרינדור וההתאמה לפרומפט, בלי להסתמך על ציונים אוטומטיים.
- 2,240הורדות בחודש
- 34לייקים
מה זה
בבסיס הנתונים יש 309,955 השוואות בין זוגות מודלים מתוך 42 מודלים מובילים שנבדקו. כל רשומה כוללת את הפרומפט המקורי באנגלית, קוד ה־SVG הגולמי שכל מודל ייצר, תמונות מפוענחות בפורמט PNG בגודל 768 על 768, וציונים ששוקללו מתוך כמעט שני מיליון קולות של מעריכים אנושיים. 81,327 מהרשומות כוללות ציונים מלאים בכל שלושת ממדי הבדיקה: התאמה לתיאור, עקביות ויזואלית ללא עיוותים, והעדפה כללית.
הפרומפטים נבחרו כדי לאתגר ייצור וקטורי מורכב כמו אייקונים, דיאגרמות ואיורים. כ־50 פרומפטים נכתבו ידנית, ויתר 450 הדוגמאות נדגמו ממאגר משתמשים ציבורי של פלטפורמת Yupp באמצעות סינון קפדני, תרגום לאנגלית ודגימה לפי מרחק סמנטי. קבצי ה־SVG רונדרו בעזרת הספרייה cairosvg, ומודלים שלא הצליחו להחזיר קוד תקין שניתן לעיבוד סוננו מראש מההתמודדות על אותו פרומפט.
מתאים ל
- אימון מודלי תגמול ל־SVG
שימוש בהצבעות האנושיות לאימון מודלי העדפה ו־RLHF על יצירת גרפיקה וקטורית.
- בנצ'מרק עצמאי למודלי שפה
בדיקת יכולות כתיבת הקוד של המודל שלכם מול 42 מודלים על 500 פרומפטים קבועים.
- איסוף דוגמאות איכותיות
סינון קוד ה־SVG שקיבל את הציונים הגבוהים ביותר ליצירת סט נתונים לאימון.
איפה זה נופל
הבדיקה מוגבלת ל־500 פרומפטים בלבד, כולם באנגלית ומיועדים לגרפיקה סטטית ללא הנפשות. מודלים שלא הצליחו לייצר תחביר XML תקין ש־cairosvg יודע לעבד פשוט הוחרגו מההשוואה, מה שיוצר הטיית שרידות ומסתיר כשלים טוטאליים. בנוסף, חצי מהרשומות לא קיבלו ציונים בכל שלושת הממדים ומכילות ערכי null בשדות מסוימים, כך שאי אפשר להניח שלמות נתונים בכל שורה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון הוא CC-BY-4.0 שמתיר מטרות מסחריות ללא הגבלה מיוחדת. החובה היחידה היא לתת קרדיט נאות ליוצרים ולמאגר המקורי ששימש לבנייתו.
האם המאגר כולל תמיכה או פרומפטים בעברית?
לא. כל הפרומפטים שסוננו תורגמו לאנגלית לפני ההרצה על המודלים. המאגר מתמקד כולו בהוראות באנגלית בלבד.
האם יש צורך ברינדור עצמאי של הגרפיקה?
אין צורך לרנדר מחדש אם הגודל המוצע מספיק. הרשומות כוללות גם את קוד ה־SVG המקורי וגם תמונות PNG מרונדרות ברזולוציה של 768 על 768.
כמה רשומות כוללות מידע השוואתי מלא?
מתוך 309,955 השוואות בסך הכל, רק 81,327 נבדקו בכל שלושת הממדים. בשאר הרשומות יש ערכי null בעמודות שלא נדגמו.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה של Hugging Face עם load_dataset עבור הנתיב Rapidata/svg-benchmark. הנתונים מחולקים ל־83 קבצי Parquet שמכילים בתוכם גם את התמונות המרונדרות, כך שמדובר בנפח הורדה משמעותי מאוד. הגישה חופשית ואינה דורשת אישור מיוחד. בעבודה עם הרשומות תמצאו את הפרומפט, שמות המודלים המושווים, מחרוזות הקוד של ה־SVG, וציונים מנורמלים בין 0 ל־1 לצד נתוני ההצבעה המפורטים.
from datasets import load_dataset
ds = load_dataset("Rapidata/svg-benchmark")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0. הרישיון מתיר שימוש חופשי כולל שימוש מסחרי, שינוי ושילוב באגים, ואינו מחייב שיתוף תחת אותו רישיון. תנאי הסף היחיד הוא מתן קרדיט ברור ליוצרי המאגר ולפרויקט המקור של Yupp ששימש לדגימת הפרומפטים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס