1k_Website_Screenshots_and_Metadata

מה זה

המאגר נאסף מדצמבר 2022 עד תחילת ינואר 2023, והוא מייצג מדגם של אלף האתרים הפופולריים ביותר בעולם באותה תקופה. מדובר בחלק ממאגר רחב יותר של החברה שמכיל עשרת אלפים אתרים, והוא נועד במקור לאימון מודל לייצור מוקאפים מטקסט.

המבנה של המאגר ישיר. יש בו קצת מעל אלפיים קבצים בסך הכל, כשכל אתר מקבל תיקייה ממוספרת שמכילה שני קבצים בלבד: צילום מסך ברזולוציה של 1024 על 1024 פיקסלים בפורמט תמונה, וקובץ ג'ייסון עם מטא-דאטה עשיר. הרינדור בוצע עם טעינה מלאה של תמונות והרצת ג'אווה-סקריפט.

קובץ המטא-דאטה מפרק את האתר לחלקים טקסטואליים וויזואליים. בצד הטקסט תמצאו כותרת, תיאור עמוד, את תוכן סרגל הניווט ואת כל הטקסט שחולץ מהעמוד. בצד הוויזואלי הוא שומר את המיקומים האבסולוטיים והיחסיים של אלמנטים כמו כפתורים, שדות קלט, תמונות ווידאו, לצד פרופיל צבעים ופונט הבסיס.

מתאים ל

• אימון מודלי טקסט לתמונה

  יצירת סקיצות של אתרים לפי תיאור טקסטואלי של רכיבים וסגנון.

• זיהוי אלמנטים בממשק

  אימון מודלים לזיהוי כפתורים, תמונות ותפריטים לפי מיקומם בתמונה.

• הערכת ביצועי מודלי ראייה

  בדיקת היכולת של מודל רב-מודאלי לחלץ טקסט ומבנה מעמוד אינטרנט שמרונדר כתמונה.

איפה זה נופל

אלף אתרים זה מדגם קטן מאוד שלא מספיק לאימון מודל מאפס. בנוסף, מדובר באלף האתרים המובילים בעולם, מה שאומר הטיה חזקה לאתרים אמריקאיים וגלובליים, כולם באנגלית בלבד. אין כאן ייצוג לעברית, לאתרים שקוראים מימין לשמאל, או לממשקים מקומיים בישראל. הנתונים נכונים לתחילת 2023 ומאז עיצוב האתרים האלה כבר השתנה. אם המטרה שלכם היא פענוח אתרים עבריים, תצטרכו לאסוף מידע בעצמכם.

איך טוענים

טעינת המאגר מתבצעת ישירות מול המאגר הפתוח, בלי צורך לבקש אישור גישה מוקדם או להמתין לאימות. המבנה אינו טבלה מונוליטית אחת אלא היררכיית תיקיות מספריות, מ־0001 והלאה, מה שמחייב אתכם לכתוב סקריפט קצר שעובר על התיקיות וקורא את הקבצים.

בכל תיקייה יש לפתוח את תמונת ה־PNG ואת קובץ ה־JSON שמכיל את נתוני הפיקסלים, הטקסט והמיקומים. היות שמדובר באלף אתרים בלבד, היקף האחסון נמוך יחסית ואינו דורש תשתית כבדה, אך מומלץ לתכנן מראש את אופן חילוץ שדות המיקום והטקסט מתוך מבנה הג'ייסון לצורכי עיבוד.

from datasets import load_dataset

ds = load_dataset("silatus/1k_Website_Screenshots_and_Metadata")

הרישיון

הרישיון הוא CC BY-NC-SA 4.0. המשמעות ברורה: אסור להשתמש בנתונים האלה לשום מטרה מסחרית. בנוסף, חובה לתת קרדיט ליוצרים, ואם אתם משנים, מעבדים או בונים משהו שמבוסס על הדאטהסט הזה, אתם חייבים להפיץ אותו תחת אותו הרישיון בדיוק. מודל שתאמנו עליו לא יוכל להימכר כמוצר סגור.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗