fashion200k
קוד פתוחMarqoapache-2.02024-08-07
גרסה ארוזה בפורמט מודרני של מאגר האופנה הוותיק Fashion200k. היא מיועדת בעיקר למי שרוצה לבחון מודלים של חיפוש מולטימודלי או התאמת טקסט לתמונה בעולמות ההלבשה.
- 660הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל נתונים שהועלו במקור במסגרת מאמר אקדמי משנת 2017 בשם Automatic Spatially-aware Fashion Concept Discovery. חברת Marqo העלתה את הנתונים לחיבוק פייס בעיקר כדי להעריך את ביצועי המודלים Marqo-FashionCLIP ו־Marqo-FashionSigLIP מול מודלים אחרים בתחום.
הכרטיס הנוכחי לא מפרט את מבנה השורות המדויק, את אופן החלוקה לקטגוריות או את שיטות הסינון והאיסוף שבוצעו במקור. מדובר בדאטהסט ציבורי מוכר שנשען על המאגר המקורי מגיטהאב, אך כאן הוא מסודר בעשרה קבצי מידע שמקלים על משיכה ישירה בלי להתעסק עם הסקריפטים הישנים של המחקר.
מתאים ל
- הערכת מודלי חיפוש
בדיקת ביצועי מודלים מולטימודליים בשליפת פריטי לבוש על פי תיאור טקסטואלי, בדומה למבחנים של Marqo.
- אימון סיווג מוצרים
שימוש בתמונות ובתוויות הקיימות לצורך בניית מסווגים לקטגוריות אופנה וסגנונות לבוש.
- בנצ'מרק השוואתי
השוואה סטנדרטית מול מודלים קיימים כמו OpenFashionCLIP או SigLIP על קבוצת נתונים אקדמית מוכרת.
איפה זה נופל
הבעיה המרכזית היא חוסר תיעוד בסיסי בדף עצמו. Marqo מצהירים מראש שהם לא בעלי הדאטהסט, ובחרו למלא את הכרטיס בתוצאות בנצ'מרק של המודל שלהם במקום להסביר מה יש בקבצים. הנתונים מתבססים על מחקר מ־2017, כך שהסגנון והמוצרים משקפים את מה שהיה ברשת לפני כמעט עשור. אין שום תיעוד על תמיכה בעברית, כל הטקסטים במקור היו באנגלית, ואי אפשר לדעת מהכרטיס אילו הטיות קיימות בפריטים או בתמונות בלי לפתוח את המאמר המקורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוגדר בעמוד הוא apache-2.0, שבאופן עקרוני מתיר שימוש מסחרי חופשי עם מתן קרדיט. עם זאת, Marqo מדגישים שהם לא הבעלים של הנתונים אלא רק ארזו אותם מחדש מפרויקט ציבורי מ־2017. לפני שמשלבים את המידע במוצר מסחרי, מומלץ לבדוק את הרישיון המקורי של התמונות והטקסטים במאגר של Han בגיטהאב.
האם יש במאגר תמיכה בעברית?
לא. מדובר במאגר נתונים אקדמי שנאסף באנגלית ומיועד למחקר בינלאומי. כל התיאורים והתגיות מופיעים באנגלית בלבד. אם המוצר שלכם פונה לשוק הישראלי, תצטרכו לתרגם את השאילתות או לאמן שכבת התאמה לשפה העברית.
איך הנתונים נאספו?
הכרטיס הנוכחי לא כולל הסבר על אופן האיסוף, אלא רק מציין שמקור הנתונים במחקר מ־2017 בשם Automatic Spatially-aware Fashion Concept Discovery. Marqo העלו את הקבצים כפי שהם כדי לבצע הערכות ביצועים לדגמי CLIP ו־SigLIP שלהם, בלי לפרט על תהליך הניקוי או הסינון.
איך המאגר מאורגן טכנית להורדה?
המידע מחולק לתשעה קבצי parquet נפרדים בתוך תיקיית data, מה שמאפשר טעינה מקבילית ויעילה יחסית. סך הכל יש 11 קבצים במאגר כולל תיעוד. המבנה הזה נוח בהרבה מהורדת קבצי תמונות בודדים וסקריפטים ישנים מהעמוד המקורי.
איך טוענים
הנתונים מחולקים לתשעה קבצי parquet בתוך תיקיית data, לצד קובץ התיעוד. אין צורך באישור גישה מיוחד כדי להוריד אותם. אפשר לטעון את הקבצים ישירות באמצעות ספריית datasets הרגילה או בעזרת pandas ו־polars. לפני שמתחילים כדאי לוודא שיש מספיק מקום פנוי בדיסק לתשעת החלקים, ולבדוק את שמות העמודות ברשומה הראשונה כי הכרטיס לא מציין אילו שדות קיימים שם.
from datasets import load_dataset
ds = load_dataset("Marqo/fashion200k")הרישיון
המאגר מדווח תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה בלי לחייב אתכם לפתוח את הקוד שלכם באותו רישיון. יחד עם זאת, Marqo מציינים במפורש שהם אינם בעלי המאגר אלא מפנים למקור בגיטהאב, ומבקשים לתת קרדיט למאמר המקורי של Han ושותפיו משנת 2017. אם אתם מאמנים מודל מסחרי, כדאי לבדוק גם את תנאי המקור של התמונות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים