json_data_extraction

מה זה

הנתונים מורכבים מזוגות של טקסט מקור וסכמת יעד, לצד אובייקט הנתונים המחולץ בפועל. בכל רשומה תמצאו כותרת, נושא, סכמת ג'ייסון, המופע שחולץ, סוג המדיום כמו אימייל, פוסט או שיחה, וטקסט המקור שמכיל את המידע ומלל נוסף מסביב. הנושאים מחולקים לתחומים מוגדרים: רפואה, מסחר אלקטרוני, עסקים, תיירות, מדיה, טכנולוגיה, ייצור תעשייתי, ומסמכים פשוטים כמו מתכונים ורשימות משימות.

כל המידע כאן הוא סינתטי לחלוטין ונוצר באמצעות ג'מיני פרו של גוגל. התהליך כלל שלושה שלבים: יצירת סכמות מגוונות, יצירת אובייקטים לפי הסכמות, ולבסוף כתיבת טקסט שמכיל את המידע הזה עטוף בפורמט הרלוונטי. סך הכל יש במאגר בין אלף לעשרת אלפים רשומות, ללא חלוקה מובנית לחלקי אימון ומבחן.

מתאים ל

• הערכת ביצועי מודלים

  בדיקת יכולת המודל לחלץ את כל המידע הנדרש מטקסט חופשי לפי סכמת ג'ייסון נתונה.

• אימון ייעודי לחילוץ

  כוונון עדין של מודל שפה קטן להמרת טקסט למבנה נתונים קשיח.

• שליפת סכמה מתאימה

  אימון מודל ריטריבר שיודע להתאים את סכמת הג'ייסון הנכונה מתוך טקסט נתון.

איפה זה נופל

הבעיה המרכזית היא שהכל סינתטי. הנתונים הופקו במלואם על ידי ג'מיני פרו, ולכן כל הטיה, שגיאה או סגנון כתיבה שחוזר על עצמו במודל המקור זלגו ישירות לכאן. בנוסף, כל הדוגמאות הן באנגלית בלבד. אם המוצר שלכם עובד בעברית, המאגר הזה לא ייתן לכם מענה ישיר. מעבר לזה, המפרסמים ציינו מפורשות שהמאגר מיועד למטרות מחקר בלבד, כך שלא הייתי מכניס אותו לתהליכי פיתוח מוצרי בלי לבדוק התאמה מול הצהרה זו.

איך טוענים

טוענים את המאגר ישירות בעזרת ספריית הדאטהסטס הרגילה, כשהוא מגיע בקובץ פרקט יחיד בשם data.parquet לצד קובץ התיעוד. אין פה צורך באישור גישה מיוחד או בהרשמה מראש, מורידים ומתחילים לעבוד. השדות המרכזיים שתרצו להזין למודל הם text ו־schema, כשהפלט המצופה להשוואה נמצא בשדה item. נפח הנתונים קטן יחסית, בין אלף לעשרת אלפים שורות, כך שהוא נטען ונשמר מקומית תוך שניות בודדות בלי להעמיס על הזיכרון.

from datasets import load_dataset

ds = load_dataset("paraloq/json_data_extraction")

הרישיון

הרישיון הרשמי שמוגדר במאגר הוא אפאצ'י 2.0. הרישיון הזה מתיר שימוש חופשי, שינוי של הקבצים ושילוב שלהם במוצרים מסחריים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. הוא לא מחייב אתכם לשתף את הקוד שלכם תחת אותו רישיון, ומותר לאמן עליו מודלים מסחריים. עם זאת, היוצרים הוסיפו הערה בתיאור שהשימוש מיועד למחקר בלבד, מה שיוצר סתירה שכדאי לקחת בחשבון מבחינה משפטית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗