scrapegraphai-100k
קוד פתוחscrapegraphaiapache-2.02025-12-12
חבילה של 93,695 חילוצי מידע מאתרי אינטרנט אמיתיים ישירות לתוך סכמות JSON. הוא מיועד למי שמאמן או בוחן מודלים על הוצאת נתונים מובנים מטקסט רשת מלוכלך.
- 124הורדות בחודש
- 27לייקים
מה זה
הנתונים מגיעים מטלמטריה שמשתמשים אישרו לאסוף בספריית הקוד הפתוח ScrapeGraphAI בין הרבעון השני לשלישי של 2025. מתוך תשעה מיליון אירועים גולמיים בפוסטהוג, החוקרים סיננו כפילויות, הגבילו לכל היותר חמש דוגמאות לכל סכמה ייחודית מדומיינים שונים, וחילצו 25,453 סכמות שונות ממעל 80 אלף כתובות רשת.
כל רשומה מחזיקה את הטקסט המקורי של האתר מומר למרקדאון, את ההנחיה שנשלחה למודל, את סכמת ה־JSON שהוגדרה מראש, את התשובה שהתקבלה ומדדי מורכבות של הסכמה. מעל 87 אחוזים מהחילוצים נעשו עם gpt-4o-mini, ובנוסף שמרו כאן נתונים תפעוליים כמו זמני ריצה, גדלי בתים ודגל בוליאני שמציין תאימות מבנית לסכמה.
מתאים ל
- אימון מודלי חילוץ נתונים
כוונון עדין של מודלים קטנים להמרת דפי רשת ל־JSON תקין לפי סכמה מוגדרת מראש.
- בנצ'מרק למבנה פלט
בדיקת העמידה של מודלי שפה בסכמות מורכבות בעלות עומק קינון ומספר שדות גבוה.
- חקר שגיאות של מודלים
ניתוח מקרים שבהם מודלים נכשלים בחילוץ תחבירי דרך הרשומות שסומנו כלא תקינות.
איפה זה נופל
התשובות בדאטהסט אינן אמת מוחלטת אלא פלט של מודלים, ולכן יש בהן שגיאות סמנטיות והזיות שלא נבדקו בידי אדם. הדגל המצורף בודק תקינות תחבירית בלבד מול הסכמה, ולא נכונות עובדתית, כששלושה וחצי אחוזים מהשורות נכשלו אפילו במבחן המבני הזה כדי לתעד מצבי כשל. מבחינת תוכן, מעל 44 אחוזים מהדוגמאות מגיעות מעשרת הדומיינים המובילים בלבד, עברית כמעט ולא קיימת שם מתוך רוב של קרוב ל־89 אחוזים באנגלית, והטקסט הגולמי מכיל שמות, כתובות מייל ומפתחות גישה שנאספו מדפי אינטרנט ציבוריים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון הוא Apache 2.0 והוא מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או חיצוניים. נדרש לתת קרדיט ליוצרים, וצריך לקחת בחשבון שזכויות האתרים המקוריים שייכות לבעליהם ומחזיקי הדאטהסט מפעילים מנגנון הסרה לפי פניות.
האם הדאטהסט מתאים לעבודה בעברית?
לא. כמעט 89 אחוזים מהטקסטים הם באנגלית, לצד כמויות קטנות בסינית, קוריאנית ושפות אירופאיות. עברית אפילו לא מופיעה ברשימת השפות המזוהות בכרטיס, כך שאין כאן תשתית רלוונטית למשימות בשפה המקומית.
האם התשובות ברשומות נבדקו ואומתו על ידי בני אדם?
לא, אין כאן תיוג אנושי. התשובות הן הפלטים שייצרו מודלים כמו gpt-4o-mini בזמן אמת, והבדיקה היחידה שבוצעה עליהן היא אימות מבני מול הסכמה ולא בדיקה שהמידע שנשלף אכן נכון עובדתית.
איך טוענים
טוענים את הדאטהסט ישירות עם load_dataset של Hugging Face בלי צורך באישור גישה. הקובץ המרכזי יושב בפורמט Parquet יחיד, data/train.parquet, ומכיל 93,695 שורות. למי שמחפש רק דוגמאות תקינות לאימון נקי, מומלץ לסנן מראש את השורות לפי response_is_valid כדי לנפות שגיאות חילוץ ועמודי שגיאה כמו חסימות בוטים.
from datasets import load_dataset
ds = load_dataset("scrapegraphai/scrapegraphai-100k")הרישיון
המאגר מופץ ברישיון Apache 2.0 שמתיר שימוש מסחרי, שינוי והפצה, כולל אימון מודלים מסחריים, בכפוף למתן קרדיט ושמירת תנאי הרישיון המקוריים. הרישיון מכסה את הנגזרות שהופקו כמו המרקדאון, הסכמות והתשובות, אך זכויות היוצרים על התוכן המקורי של האתרים שייכות למפרסמים המקוריים וחל עליהן נוהל הסרה לפי דרישה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים