Design2Code
קוד פתוחSALT-NLPodc-by2024-03-04
המאגר כולל זוגות של צילומי מסך וקוד מקור עבור בדיקת מודלים חזותיים שהופכים עיצוב לאתר חי. הוא נועד למדידה של יכולות כתיבת קוד מתמונה ולא לאימון רחב היקף.
- 1,979הורדות בחודש
- 22לייקים
מה זה
המאגר מכיל 484 דפי אינטרנט שנלקחו מתוך קבוצת הוולידציה של C4. המטרה המוגדרת שלו היא לבחון מודלי שפה רב מודליים במשימה של המרת עיצוב חזותי למימוש בקוד, כך שתוכלו להשוות ישירות בין מה שהמודל רואה לבין מה שהוא פולט בפועל.
המבנה פשוט מאוד ומבוסס על צמדים. כל רשומה מורכבת מקובץ תמונה בפורמט PNG של צילום המסך של הדף, ולצדו קובץ ה־HTML המקורי ששימש לבנייתו, תחת אותו מזהה מספרי. סך הכל ישנם 971 קבצים במאגר.
כל התמונות המקוריות שהיו מוטמעות באותם דפי רשת הוסרו והוחלפו בתמונת פלייסהולדר יחידה בשם rick.jpg. הצעד הזה מבודד את מבנה הדף והעיצוב שלו מהתוכן הגרפי הספציפי, ומחייב את המודל להתמקד בסידור האלמנטים ובקוד ולא בניתוח תמונות מורכבות.
מתאים ל
- הערכת מודלי ראייה לקוד
בדיקת יכולת של מודלים רב מודליים לייצר קוד מתוך צילום מסך של דף.
- השוואת ביצועי מודלים
הרצת מבחן אחיד על 484 הדפים כדי למדוד דיוק מול ה־HTML המקורי.
- ולידציה לכלי פרומפטינג
בחינת שיטות שונות של הנחיית מודלים ליצירת מבנה ויזואלי מדויק.
איפה זה נופל
זה לא מאגר לאימון מודל מאפס. יש בו רק 484 דוגמאות, כך שהוא מתאים אך ורק לבדיקה והערכה של ביצועים. בנוסף, כל התמונות הוחלפו בתמונה אחידה, מה שאומר שהמודל לא נבדק על התמודדות עם גרפיקה מגוונת או מורכבת בעולם האמיתי. המקור הוא C4 באנגלית, כך שאין כאן בדיקה של עברית או יישור לימין, ולא תמצאו פה מידע על התנהגות רספונסיבית מורכבת.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון הוא odc-by ומאפשר שימוש מסחרי ומחקרי. התנאי המרכזי הוא מתן ייחוס מתאים ליוצרים של המאגר.
האם המאגר מתאים לאימון מודל חדש?
לא, יש בו רק 484 דוגמאות שנועדו להערכה ובדיקה. כדי לאמן תצטרכו דאטהסטים גדולים בהרבה.
האם יש בדאטהסט תמיכה בעברית?
הנתונים נלקחו מסט הוולידציה של C4 באנגלית. אין בו דפים בעברית או בדיקה של שפות הנכתבות מימין לשמאל.
איך מטפלים בתמונות שמופיעות באתרים?
היוצרים החליפו את כל התמונות המקוריות בתמונת פלייסהולדר יחידה. המודל שלכם יצטרך לייצר את מבנה הדף בלי להסתמך על הגרפיקה המקורית.
איך טוענים
אין כאן צורך בהרשאות מיוחדות או באישור גישה. אתם מורידים את הקבצים ישירות מהמאגר, שכולל בסך הכל 971 קבצים של HTML ו־PNG. מי שמעדיף לעבוד דרך הספרייה הרגילה של Hugging Face יכול לפנות למאגר המקביל Design2Code-hf. הקבצים מסודרים לפי מזהה מספרי, כך שקל מאוד לטעון אותם בסקריפט פייתון פשוט כדי להזין את התמונות למודל ולהשוות את הפלט מול קוד המקור.
from datasets import load_dataset
ds = load_dataset("SALT-NLP/Design2Code")הרישיון
המאגר מופץ תחת רישיון odc-by. מותר להשתמש בו לצרכים מחקריים ומסחריים, כולל להערכת מודלים, כל עוד אתם נותנים קרדיט מתאים ליוצרים המקוריים של המאגר לפי תנאי הרישיון.