FiVA
קוד פתוחFiVAרישיון לא דווח2024-06-11
מאגר שמכיל מעל מיליון תמונות המחולקות לרשתות של שתיים על שתיים, לצד מטא דאטה של תכונות ונושאים. הוא מיועד למי שמאמן מודלים חזותיים וצריך שליטה מפורטת בסינון ודגימת נתונים.
- 379הורדות בחודש
- 22לייקים
מה זה
המאגר כולל 1.04 מיליון תמונות ברזולוציה של 1024 על 1024. כל דגימה בנויה כרשת של שתיים על שתיים, כלומר ארבע תמונות שנחשבות יחד כדגימה אחת. המבנה הזה נועד לאפשר גיוון ובחירה אקראית של תמונה מתוך הארבע בזמן האימון.
הקבצים מחולקים לחבילות זיפ תחת תיקיית הנתונים המלאה, לצד תיקיית דוגמה חלקית. בכל חבילה יש תיקיית תמונות בפורמט פי אן ג'י וקובץ ג'ייסון עם מטא דאטה עבור הדגימות. המפרסמים לא פירטו בכרטיס מה מקור התמונות המקורי או מאיפה הן נאספו בפועל.
לצד התמונות מצורפים קובצי קוד ורשימות תכונות ונושאים, יחד עם הגדרות סינון רגיש לטווחים שנועדו להמיר את המטא דאטה לפורמט שמתאים לטעינה מאוזנת.
מתאים ל
- אימון ייצוגים חזותיים
שימוש ברשתות התמונות כדי ללמד מודלים חזותיים לבחור ולזהות וריאציות שונות של אותו נושא.
- דגימה מאוזנת לפי תכונות
הפעלת סקריפטי הסינון לבניית סטים של זוגות תמונות מבוקרים לפי מילוני הנושאים והמאפיינים.
- הערכת עמידות של מודלים
בדיקת ביצועים של מסווגים על תמונות ברזולוציה גבוהה שמחולקות לקטגוריות מוגדרות מראש.
איפה זה נופל
החיסרון המרכזי כאן הוא חוסר שקיפות מוחלט לגבי מקור התמונות, מי צילם או יצר אותן ואיזה הטיות קיימות בתוכן. הטקסט והמטא דאטה מוגדרים באנגלית בלבד, ואין שום התייחסות לעברית או להקשרים מקומיים.
בנוסף, המפרסמים הודיעו על גרסה שנייה עם סינון מחמיר יותר והגדרות תכונה נוספות, מה שמעיד על כך שהסינון בגרסה הראשונה לוקה בחסר. לפני שמשלבים את זה באימון רציני, חובה לדגום את התמונות ידנית כדי לבדוק איכות וזכויות יוצרים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא כדאי להסתכן בזה כרגע. הרישיון לא מוגדר בעמוד המאגר ולא ברור תחת איזה תנאים המידע שוחרר. שימוש מסחרי במצב כזה חושף אתכם לתביעות זכויות יוצרים על הנתונים ועל המודל המאומן.
כמה מקום צריך בשביל להוריד את כל הדאטה?
המאגר מכיל 1.04 מיליון תמונות ברזולוציה של 1024 על 1024 שפרוסות על פני 260 קבצים, רובם קובצי זיפ. המשקל הכולל לא צוין במפורש, אבל מדובר במאות גיגה בייטים שדורשים נפח אחסון משמעותי וחיבור מהיר.
האם יש במאגר תמיכה בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל המטא דאטה, קובצי הסינון והגדרות הנושאים כתובים באנגלית. אין פה טקסטים או הקשרים בעברית.
איך התמונות נאספו ומאיפה הן הגיעו?
כרטיס המאגר לא מספק מידע על מקור התמונות, אופן איסופן או מי יצר אותן. ידוע רק שהן עברו תהליך סינון רגיש לטווחים לפי קובצי הקוד המצורפים, ושגרסה שנייה אמורה לסנן אותן בצורה קפדנית יותר.
איך טוענים
הנתונים יושבים במאות קובצי זיפ בתוך תיקיית הדאטה המלאה, כך שלא מדובר בטעינה פשוטה של שורה אחת דרך הספרייה הרגילה. המאגר פתוח להורדה ישירה ללא צורך בבקשת גישה מיוחדת.
כדי לעבוד איתו בצורה נכונה מומלץ להשתמש בקוד המצורף במאגר. הקבצים כוללים דוגמה למחלקת טעינה שמשתמשת בקובץ סינון הנתונים, מה שמאפשר לייצר זוגות תמונות ולבצע דגימה מאוזנת לפי התכונות והנושאים שנשמרים במטא דאטה.
from datasets import load_dataset
ds = load_dataset("FiVA/FiVA")הרישיון
הרישיון של המאגר לא דווח ולא צוין בעמוד בצורה ברורה, למרות קיומו של קובץ בשם זה במאגר. כשאין רישיון מוגדר, מבחינה משפטית כל הזכויות שמורות ליוצרים. המשמעות היא שאסור להשתמש בדאטהסט הזה למוצרים מסחריים, וגם שימוש לצורכי מחקר דורש בדיקה ישירה מול היוצרים כדי לא להסתכן בהפרת זכויות יוצרים על המודל שתאמנו.