product-catalogue
קוד פתוחShopifyapache-2.02025-10-24
מאגר נתוני מסחר אמיתיים של מוצרים שכוללים תמונות, כותרות ותיוג היררכי עמוק. מי שבונה סיווג לקטלוגים יקבל פה בנצ'מרק מולטימודלי מסודר ישירות מהשטח.
- 1,399הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 48,289 מוצרים שנדגמו ישירות מחנויות אמיתיות שפועלות על שופיפיי. כל רשומה מורכבת מתמונת המוצר, כותרת, תיאור טקסטואלי, מותג, סימון האם מדובר במוצר יד שנייה, רשימת קטגוריות אפשריות, והקטגוריה הנכונה בפועל מתוך הטקסונומיה הרשמית של שופיפיי. תיאור קיים ב־92.9% מהמקרים, ומותג קיים ב־98.2% מהם.
הסיווג בנוי בצורה היררכית בעומק של בין רמה אחת לשמונה רמות, עם ממוצע של 4.5 רמות עומק. יש כאן 10,476 קטגוריות שונות ו־28,913 מותגים שונים, כך שהמגוון רחב מאוד והתיוגים ספציפיים מאוד.
הנתונים מחולקים מראש לשני חלקים. יש סט אימון שמכיל 38,631 פריטים שמהווים 80% מהדאטה, וסט בדיקה שמכיל 9,658 פריטים שמהווים את 20% הנותרים.
מתאים ל
- סיווג קטלוג מוצרים
אימון מודלים שמקבלים תמונה ושם מוצר ומשבצים אותו אוטומטית בהיררכיית קטגוריות של חנות.
- הערכת מודלי ראייה-שפה
בדיקת ביצועים של מודלים מולטימודליים במשימות zero-shot מול 10,476 תוויות קונקרטיות.
- זיהוי מוצרי יד שנייה
סיווג פריטים משומשים מתוך תיאור ותמונה באמצעות השדה שמגדיר האם המוצר הוא secondhand.
איפה זה נופל
יש כאן פיזור לא אחיד בין הקטגוריות הראשיות. תחומים כמו בית וגן או ציוד ספורט תופסים יחד מעל 30% מכלל המדגם, בזמן שתחומים כמו צעצועים, מצלמות או ציוד משרדי עומדים על כ־2% כל אחד. בנוסף, הכרטיס לא מפרט שפות, כך שסביר להניח שהרוב המוחלט באנגלית ודרושה בדיקה ידנית לפני שמנסים להתאים אותו לקטלוגים בעברית. חסר גם פירוט על אופן סינון המוצרים ועל התאריכים המדויקים שבהם הם נדגמו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט כדי לאמן מודל מסחרי?
כן. רישיון Apache 2.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים שיוטמעו במערכות סגורות או רווחיות. צריך רק להקפיד לצרף את תנאי הרישיון ואת הקרדיט לשופיפיי בהפצה של הקוד או הנתונים עצמם.
האם הדאטהסט כולל מוצרים ותיאורים בעברית?
הכרטיס לא מציין שפות באופן מפורש. המוצרים נדגמו מחנויות שופיפיי ברחבי העולם, אך סביר להניח שרוב הטקסט באנגלית. אם אתם מכוונים לשוק המקומי, תצטרכו לדגום את קבצי ה־Parquet ולבדוק את הייצוג של השפה בעצמכם.
איך מחולק הדאטהסט בין אימון לבדיקה?
החלוקה קבועה מראש ומאורגנת בקבצים נפרדים. יש 38,631 דוגמאות בסט האימון שמחולקות על פני 15 קבצים, ועוד 9,658 דוגמאות בסט הבדיקה שמחולקות על פני 5 קבצים.
במה הוא שונה מדאטהסטים כלליים של סיווג תמונות?
התיוג כאן משקף טקסונומיה אמיתית ומורכבת של מסחר אלקטרוני, עם עומק ממוצע של 4.5 רמות ואלפי קטגוריות קצה. בנוסף הוא כולל שילוב של טקסט חופשי, מותגים ותמונות אותנטיות ישירות מחנויות.
איך טוענים
טוענים את הדאטה ישירות דרך ספריית datasets באמצעות המזהה Shopify/product-catalogue בלי צורך באישור גישה מוקדם. הנתונים שמורים בקבצי Parquet שמחולקים ל־15 קבצים עבור האימון ו־5 קבצים עבור הבדיקה, כשהתמונות מוטמעות בתוך השדה product_image לצד שדות הטקסט. השדות המרכזיים למשימת הסיווג הם product_title, התמונה, והיעד ground_truth_category.
from datasets import load_dataset
ds = load_dataset("Shopify/product-catalogue")הרישיון
הרישיון הוא Apache 2.0, מה שמאפשר שימוש חופשי לחלוטין כולל שימוש מסחרי, מחקר, שינוי והפצה. הדרישה העיקרית היא מתן קרדיט ושימור הודעת הרישיון והזכויות המקורית. אין חובה לשתף מודלים שאומנו על הדאטה תחת אותו הרישיון, ואפשר להשתמש במשקולות המאומנות במוצרים סגורים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים