AMAZON-Products-2023
קוד פתוחmilistumit2024-05-21
מאגר נתוני מוצרים מאמזון שהושקו ב־2023, הכולל תיאורים ומחירים. הייחוד כאן הוא וקטורים מוכנים שחושבו מראש על הכותרת והתיאור בעזרת המודל text-embedding-3-small.
- 1,532הורדות בחודש
- 21לייקים
מה זה
המאגר מבוסס על פרויקט Amazon Reviews 2023 וכולל 117,243 רשומות על פני 15 עמודות שונות. הוא מתמקד רק בפריטים שהפכו לזמינים לראשונה במהלך שנת 2023, במטרה לספק בסיס נתונים עדכני יחסית לקטלוג של אמזון. המידע נשמר בארבעה קבצי Arrow המכילים מזהי מוצר, שמות, תיאורים, קטגוריות, דירוגים וקישורים לתמונות.
החלוקה לפי קטגוריות אינה אחידה. עיקר הנפח מגיע מתחום ההלבשה וההנעלה עם מעל 41 אלף מוצרים, לצד מוצרי בית ומטבח עם מעל 17 אלף פריטים. לעומת זאת, קטגוריות כמו ספרים כוללות שתי רשומות בלבד, ומגזינים כוללות שלוש. לצד הטקסט והמידע הקטלוגי, כל רשומה כוללת וקטור שנוצר משילוב הכותרת והתיאור של הפריט.
מתאים ל
- חיפוש סמנטי בקטלוג
שליפת מוצרים לפי שאילתות טקסט חופשי תוך שימוש בווקטורים המוכנים מראש.
- מערכות המלצה למסחר
התאמת פריטים דומים למשתמשים על בסיס שילוב של קטגוריות, תיאורים ומחירים.
- סיווג מוצרים לקטגוריות
אימון ובדיקה של מודלים לזיהוי תת קטגוריות מתוך כותרות ופרטי המוצר.
איפה זה נופל
הנתונים סובלים מחוסרים משמעותיים ומחוסר איזון קיצוני. בעמודת המחיר חסרים קרוב ל־36 אלף ערכים, וקטגוריית העל חסרה בכמעט 25 אלף רשומות. הטקסט כולו באנגלית, כך שהוא לא יעזור ישירות למי שמפתח מערכת בעברית. בנוסף, קטגוריות שלמות כמעט ריקות מתוכן, מה שיכול להטעות מודל המסתמך על חלוקה נושאית רחבה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוגדר במאגר הוא רישיון MIT, שמתיר שימוש מסחרי מלא ללא דרישה לפתוח את הקוד שלכם. עם זאת, הנתונים נלקחו מאמזון והווקטורים הופקו דרך מודל חיצוני של OpenAI. יש לוודא שהשימוש שלכם אינו מתנגש עם תנאי השימוש של אותם שירותים חיצוניים.
האם המאגר כולל תוכן בעברית?
לא, כל המידע בקטלוג מוגדר באנגלית בלבד. שמות המוצרים, המאפיינים והתיאורים מתייחסים לשוק הבינלאומי של אמזון. אם המטרה היא לאמן כלי לשוק המקומי בעברית, המאגר הזה ידרוש תרגום מסיבי או שימוש כבסיס בדיקה בלבד.
איך נוצרו הווקטורים המצורפים לנתונים?
יוצר המאגר חיבר את שדה הכותרת ושדה התיאור של כל מוצר למחרוזת אחת. המחרוזת הזו נשלחה למודל text-embedding-3-small כדי לחלץ את הייצוג הווקטורי. התוצאה נשמרה ישירות בעמודת embeddings לצד שאר פרטי הפריט.
במה המאגר הזה שונה ממאגרי אמזון אחרים?
בניגוד למאגרי ענק היסטוריים, הוא מסונן אך ורק למוצרים שהפכו זמינים במהלך 2023. היתרון הגדול שלו הוא הווקטורים המוכנים, שחוסכים את עלויות החישוב והקריאות למודלים חיצוניים. החיסרון הוא היקף קטן יותר והתמקדות חזקה בקטגוריות אופנה ובית על חשבון תחומים אחרים.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה milistu/AMAZON-Products-2023. הנתונים מחולקים לארבעה קבצי arrow, ללא צורך באישור גישה מוקדם או במפתחות פרטיים. עמודת embeddings מגיעה כרשימת ערכי נקודה צפה שמוכנה לעבודה מול אינדקס וקטורי. שדות שימושיים נוספים הם title, description, details ו־price.
from datasets import load_dataset
ds = load_dataset("milistu/AMAZON-Products-2023")הרישיון
המאגר מופץ תחת רישיון mit, שמאפשר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, למעט חובת מתן קרדיט והצגת נוסח הרישיון המקורי. חופש זה חל בדרך כלל גם על מודלים שאומנו על המידע, אך כדאי לקחת בחשבון שמקור המידע הראשוני הוא אתר אמזון, והווקטורים הופקו במודל של OpenAI.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש