ECInstruct

מה זה

הנתונים מחולקים לעשר משימות ליבה של עולם הקניות המקוון, כולל חילוץ תכונות מוצר, ניתוח סנטימנט, המלצות סדרתיות, התאמת מוצרים חלופיים וחיזוי יכולת מענה. המבנה מבוסס על שילוב של הוראות מגוונות עם נתוני קלט ופלט, כשחלק מהמשימות כוללות תוויות ייעודיות כמו דירוג מוצרים עבור שאילתות חיפוש.

המפתחים בנו את החלוקה לארבעה חלקים עיקריים: סט אימון, סט ולידציה, סט בדיקה בתוך הדומיין וסט בדיקה מחוץ לדומיין שמטרתו לבדוק עמידות. המאגר ב־Hugging Face כולל גם דוגמאות ששימשו לניתוחים משלימים, כמו מופעים להערכה במצב שוט בודד והוראות שלא נראו קודם, כך שנדרש סינון לפי הגדרות הניסוי כדי לקבל רק את הסט הבסיסי.

המקורות מורכבים מכמה מאגרי עבר מוכרים בתחום, ובהם נתוני שאילתות קניות של אמזון, שאלות ותשובות מאמזון, ביקורות גולשים ומאגר ההתאמות שבין אמזון לגוגל. הכרטיס מציג את החלוקות המספריות של כל חלק, אך לא מפרט תהליכי ניקוי ידניים או מנגנוני סינון רעשים שהופעלו עליהם מעבר לצירופם יחד.

מתאים ל

• דירוג תוצאות חיפוש

  אימון ובדיקת התאמה בין שאילתות קונים למוצרים בחנות מקוונת.

• חילוץ מאפיינים מטקסט

  שליפת פרטי מפרט ותכונות טכניות מתוך תיאורי פריטים לא מובנים.

• סיווג ביקורות גולשים

  זיהוי סנטימנט וניתוח שביעות רצון של לקוחות על בסיס טקסט חופשי.

איפה זה נופל

הנתונים כולם באנגלית בלבד. אין כאן מילה אחת בעברית, ולכן עבור אתר או מוצר מקומי תידרש עבודת תרגום והתאמה משמעותית. מעבר לשפה, הדאטהסט נשען על מקורות קיימים של אמזון וגוגל, שחלקם ישנים ואינם משקפים שינויים בהתנהגות צרכנים עדכנית. הכרטיס אינו מפרט הטיות מובנות או סינון של תוכן פוגעני מתוך הביקורות. בנוסף, חוסר האחידות ברישיונות של מקורות המידע המקוריים מקשה על הטמעה בטוחה בפיתוחים מסחריים.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה הרגילה של Hugging Face בפייתון באמצעות load_dataset עם המזהה NingLab/ECInstruct, ללא צורך בהרשאת גישה מיוחדת. המידע שמור בקובץ dataset.json ומכיל גם דוגמאות ניסוי עודפות מעבר למאגר הבסיסי. כדי לעבוד רק עם הנתונים הנקיים של המשימות המרכזיות, צריך להמיר את הנתונים למבנה נתונים כמו פנדס ולסנן לפי העמודה setting כך שתכיל רק הוראות מגוונות בדומיין ומחוצה לו. השדות המרכזיים כוללים את שם המשימה, הגדרת הניסוי וההוראה עצמה.

from datasets import load_dataset

ds = load_dataset("NingLab/ECInstruct")

הרישיון

המאגר מפורסם ברישיון cc-by-4.0, שבאופן עקרוני מתיר שימוש מסחרי ושינויים בתנאי שנותנים ייחוס הולם ואינו מחייב שיתוף באותו רישיון. עם זאת, היוצרים עצמם מציינים שהמאגר מורכב מתתי מאגרים בעלי רישיונות שונים, כולל מקורות מבוססי אמזון שרישיונם אינו רשום או מוגדר כ־Non listed לצד מקור ברישיון Apache 2.0. אי אפשר להסתמך רק על הצהרת הרישיון הראשית אם מאמנים מודל לשימוש מסחרי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗