UVT-Terminological-based-Vision-Tasks
קוד פתוחaxxkayamit2025-01-29
המאגר מאגד משימות ראייה ממוחשבת קלאסיות דרך הגדרות מונחיות, תמונות ותיאורי טרנספורמציה. הוא מיועד למי שמאמן מודלי ראייה שפה ורוצה להשוות ביצועים מול הגדרות משימה מסורתיות.
- 414הורדות בחודש
- 41לייקים
מה זה
הנתונים כוללים בין מיליון לעשרה מיליון רשומות שמייצגות משימות מגוונות בראייה ממוחשבת. תמצאו כאן שחזור תמונה, הסרת גשם, ערפל ושלג, זיהוי אובייקטים, העברת סגנון, הערכת עומק, פני שטח ותנוחה, סגמנטציה סמנטית, זיהוי קווי מתאר ומשימות חיזוי הפוכות כמו יצירת תמונה מעומק או מתנוחה.
כל רשומה מורכבת מזהה ייחודי, שם המשימה, עד שלוש תמונות בפורמט בינארי, ומחרוזות טקסט שמתארות את המעברים השונים בין התמונות. המבנה מאפשר להזין למודל תמונת מקור ותמונת יעד יחד עם ההגדרה הטרמינולוגית של הפעולה ביניהן. הקבצים מחולקים לפי מקורות ומשימות, למשל קובצי פרקט ייעודיים לעומק או עיבודים ספציפיים, אך הכרטיס אינו מפרט את הליך הסינון והניקוי המדויק שנעשה בפועל.
מתאים ל
- אימון מודלי VLM
אימון מודלי שפה וראייה לבצע משימות עיבוד תמונה לפי הגדרות שמיות ישירות.
- הערכת ביצועי ראייה
בדיקת יכולת המודל להתמודד עם משימות קלאסיות כמו הסרת ערפל או סגמנטציה.
- השוואת שיטות הנחיה
בנצ'מרק שמשווה אימון על מונחים קבועים מול הנחיות טקסטואליות מפורטות.
איפה זה נופל
כל הטקסטים והתיאורים במאגר כתובים באנגלית בלבד, ואין בו שום תמיכה בעברית. הכרטיס מציג את החלק הטרמינולוגי כנקודת תורפה שמגבילה הכללה למשימות חדשות, וטוען שהסתמכות על שמות משימות קשיחים פוגעת ביכולות של מודלים. בנוסף, חסר בכרטיס תיעוד מלא על מקור התמונות המקורי, זכויות היוצרים המקוריות שלהן, סינון נתונים או הטיות ויזואליות שקיימות בסטים מהם נאספו הקבצים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוצהר הוא MIT, שמתיר שימוש מסחרי ללא מגבלות שיתוף מיוחדות, מלבד מתן קרדיט. עם זאת, המאגר כולל תמונות שנאספו ממאגרים חיצוניים, ולכן מומלץ לבדוק את מקורות הנתונים הספציפיים לפני שמשלבים אותם במוצר מסחרי.
כמה המאגר שוקל בפועל?
המשקל הכולל לא מצוין ישירות במספר ג'יגהבייט, אבל מדובר ב־161 קובצי Parquet שמכילים מיליוני תמונות שנשמרות כמידע בינארי. זהו נפח משמעותי מאוד שדורש עשרות עד מאות ג'יגהבייט של מקום פנוי בדיסק ותשתית מתאימה להורדה.
האם יש בדאטהסט נתונים או הנחיות בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד. כל שמות המשימות, המונחים ותיאורי הפעולות כתובים באנגלית, כך שאם אתם בונים מודל שמיועד להנחיות בעברית תצטרכו לתרגם את הנתונים בעצמכם.
מה ההבדל בין מאגר זה למאגר Explanatory המקביל של אותם יוצרים?
במאגר הנוכחי המשימות מוגדרות בשמן המקובל בתחום, כמו Image Restoration או Depth Estimation. המאגר המקביל כולל תיאורים מילוליים מפורטים שמסבירים את השינוי הוויזואלי במקום להסתמך על השם המקצועי של המשימה.
איך טוענים
המאגר ציבורי ופתוח להורדה ישירה דרך ספריית הנתונים של Hugging Face, ללא צורך באישור גישה. הוא מחולק ל־161 קובצי Parquet, שחלקם נקראים לפי משימות כמו Adobe או Depth. התמונות שמורות ישירות כנתונים בינאריים בתוך העמודות Image_A, Image_B ו־Image_C, מה שאומר שנפח ההורדה הכולל כבד מאוד ומחייב שטח אחסון משמעותי ותעבורת רשת רחבה. בזמן הטעינה תצטרכו לחלץ את התמונות ולמשוך את תיאורי הטרנספורמציה המתאימים מתוך עמודות הטקסט השונות לפי כיוון המשימה שאתם מאמנים עליה.
from datasets import load_dataset
ds = load_dataset("axxkaya/UVT-Terminological-based-Vision-Tasks")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי, הפצה ושילוב בקוד סגור, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף מודלים שתאמנו תחת אותו רישיון. עם זאת, מכיוון שמדובר בתמונות שנאספו ממאגרים שונים כמו סטים של אדובי, כדאי לוודא שהרישיונות של התמונות המקוריות עצמן אינם מגבילים את הפלט המסחרי שלכם מעבר להצהרת ה־MIT של המפרסם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש