LAION-RVS-Fashion
קוד פתוחSlepcc-by-nc-4.02023-05-31
המאגר מחבר בין תמונות מוצר מבודדות לתמונות מורכבות של אותם פריטים בסצנות אמיתיות, יחד עם תיאורי טקסט מבוססי בינה מלאכותית, כדי לאמן מודלים של חיפוש ויזואלי מונחה טקסט בעולם האופנה.
- 199הורדות בחודש
- 32לייקים
מה זה
הנתונים נלקחו מתוך מאגרי הענק LAION 2B באנגלית, LAION 2B מתורגם ו־LAION 1B ללא שפה. החוקרים חילצו מזהי מוצר מתוך המקורות וקיבצו את התמונות לפיהם, כך שכל מוצר כולל לפחות תמונה בודדת ונקייה שלו ולפחות תמונה אחת מורכבת שבה הוא מופיע בתוך סצנה.
סט האימון כולל 272,457 מוצרים שמסתכמים ב־841,718 תמונות, ללא מסיחים. סטים של ולידציה ובדיקה כוללים כמות קטנה בהרבה של מוצרים, 400 בוולידציה ו־2,000 בבדיקה, אך מלווים בכמויות גדולות מאוד של מסיחים: 99,541 תמונות ולידציה ו־2,000,014 תמונות מסיחות בבדיקה.
הרשומות מכילות מטא-דאטה עשיר שכולל סוג תמונה, קטגוריות לבוש מוגדרות מראש, טקסט מקורי ותרגום לאנגלית, וכן שני תיאורים אוטומטיים שנוצרו באמצעות המודל BLIP2-FlanT5XL.
מתאים ל
- חיפוש אופנה לפי טקסט
אימון מערכות לאיתור פריט לבוש ספציפי מתוך תמונת רחוב או סצנה מורכבת בעזרת תיאור מילולי.
- שיוך תמונות קטלוג לסצנות
פיתוח מודלים שיודעים להתאים בין צילום מוצר נקי על רקע לבן לבין תמונה שבה דוגמן לובש אותו.
- בנצ'מרק למודלי ראייה
הערכת ביצועים של מודלי שפה ותמונה משולבים על סט הבדיקה שכולל שני מיליון מסיחים.
איפה זה נופל
המאגר מסתמך על תמונות שנסרקו מהרשת הפתוחה דרך LAION, ולכן הוא סובל מבעיות איכות ידועות של קישורים שבורים, סימני מים ורעש בסיסי. למרות שקיימים שדות ציון לסימני מים ולתוכן לא בטוח, הניקוי לא מושלם.
כל התיאורים והטקסטים במאגר הם באנגלית בלבד, ואין ייצוג לשפות אחרות. בנוסף, תיאורי המוצר נוצרו אוטומטית על ידי BLIP2, מה שעלול לייצר הזיות טקסטואליות או שגיאות בזיהוי פרטי לבוש עדינים שדורשים עין מקצועית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא, הרישיון המוגדר הוא cc-by-nc-4.0 שמונע במפורש כל שימוש מסחרי. המאגר מיועד למחקר, ניסויים אקדמיים ובדיקות פנימיות בלבד. אם תאמנו עליו מודל שמוטמע באפליקציה בתשלום או באתר מסחרי, תפרו את תנאי הרישיון.
האם הדאטהסט כולל תמיכה בעברית?
לא, כל הטקסטים במאגר הם באנגלית בלבד. חלק מהנתונים הגיעו ממקורות רב-לשוניים של LAION, אך הם תורגמו לאנגלית מראש. אם המטרה היא לאמן מודל חיפוש בעברית, תצטרכו לתרגם את תיאורי ה־BLIP2 באופן עצמאי.
מאיפה הגיעו התמונות והאם הן שמורות במאגר?
התמונות נאספו מתוך תת-מאגרים של פרויקט LAION וקובצו לפי מזהי מוצר שנשלפו מתוך הקישורים והטקסטים. המאגר מספק בעיקר כתובות רשת ומטא-דאטה, כך שחלק ניכר מהתמונות יש להוריד עצמאית מהרשת, וחלקן כבר עלול להיות לא זמין עקב אתרים שירדו מהאוויר.
במה הוא שונה ממאגרי אופנה רגילים כמו DeepFashion?
בניגוד למאגרי אופנה מסורתיים שמציגים תגיות קבועות, כאן יש שילוב של תמונת מוצר נקייה לצד תמונת סצנה מאותו פריט בדיוק יחד עם תיאור טקסט חופשי. בנוסף, סט הבדיקה שלו מכיל שני מיליון תמונות מסיחות שמדמות חיפוש אמיתי בקנה מידה גדול.
איך טוענים
הגישה למאגר פתוחה ישירות דרך Hugging Face ואין צורך באישור מיוחד. הנתונים מתבססים במקור על קובצי parquet, כאשר הגישה לקובצי הבדיקה המלאים מפנה גם למאגר Zenodo חיצוני.
בעבודה עם הנתונים, השדות המרכזיים לעיבוד הם PRODUCT_ID שמחבר בין המופעים השונים של אותו פריט, TYPE שמבדיל בין תמונת מוצר נקייה לסצנה מורכבת, ושדות התיאורים blip2_caption1 ו־blip2_caption2.
from datasets import load_dataset
ds = load_dataset("Slep/LAION-RVS-Fashion")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות פשוטה: השימוש מוגבל למחקר ולמטרות לא מסחריות בלבד, עם חובת מתן קרדיט ליוצרים. אסור להשתמש בנתונים האלה כדי לאמן מודלים למוצרים מסחריים, ואם מפיצים נגזרות של הדאטה, יש לעשות זאת תחת תנאי שימוש תואמים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא