UVT-Explanatory-based-Vision-Tasks
קוד פתוחaxxkayamit2025-01-30
המאגר כולל מיליוני שלשות של תמונות והוראות טקסטואליות מפורטות שמסבירות את המעבר ביניהן. הוא מיועד למי שרוצה לאמן מודלי ראייה שמבינים משימות מורכבות בלי להסתמך על הגדרות קשיחות.
- 293הורדות בחודש
- 45לייקים
מה זה
הנתונים מחולקים למבנה של עד שלוש תמונות, Image_A ועד Image_C, יחד עם תיאורים טקסטואליים שמסבירים את היחסים וההמרה מכל תמונה לכל תמונה אחרת. לכל רשומה יש מזהה ייחודי, שם משימה, ומחרוזות טקסט של הוראות הסברתיות לכל כיוון אפשרי בין הקלטים, כמו מ־A ל־B או מ־C ל־A. תמונה C יכולה להיות ריקה בחלק מהרשומות.
החוקרים בנו את המאגר סביב הרעיון של הוראות הסברתיות במקום שמות של משימות ראייה סטנדרטיות, כדי לשפר יכולות אפס דוגמאות של מודלי שפה וראייה. לפי התיאור הרשמי המאגר המלא כולל 12 מיליון שלשות כאלו, כאשר החלק הנוכחי מבודד רק את ההוראות ההסברתיות ולא את החלק המבוסס על מינוחים קלאסיים.
מתאים ל
- אימון מודלי VLM
לימוד מודלי שפה וראייה לבצע משימות על סמך הוראות טקסטואליות מפורטות.
- הכללה למשימות חדשות
בדיקת יכולות אפס דוגמאות במשימות עיבוד תמונה מגוונות ללא הגדרות סגורות.
- הסבת תמונה לתמונה
אימון מערכות שמקבלות תמונת מקור והוראה מילולית ומפיקות תמונת יעד מתאימה.
איפה זה נופל
כל הטקסטים וההוראות בדאטהסט מופיעים באנגלית בלבד, ואין כאן נתונים בעברית. מעבר לכך, היוצרים עצמם ממליצים במפורש לקרוא את נספח הדיון במאמר שלהם לפני שמשתמשים בחלק ההסברתי הזה, מה שמעיד על מורכבות או מגבלות בהוראות שלא מפורטות בעמוד עצמו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
כן, הרישיון המדווח הוא רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה. הדרישה העיקרית היא השארת הצהרת זכויות היוצרים של היוצרים המקוריים.
האם הדאטהסט כולל תמיכה בעברית?
לא, השפה היחידה שמוגדרת ונמצאת בעמודות התיאור היא אנגלית. שימוש בעברית ידרוש תרגום מראש של כל ההוראות הטקסטואליות.
באיזה פורמט שמורות התמונות במאגר?
התמונות שמורות כמידע בינארי ישירות בתוך שדות Image_A, Image_B ו־Image_C בקבצי ה־Parquet. המשמעות היא שקבצי המאגר עצמם מחזיקים את המדיה ולא רק קישורים חיצוניים.
מה ההבדל בין מאגר זה למאגר הראייה הרגיל של אותו פרויקט?
המאגר הזה מתמקד בהוראות שמסבירות את השינוי בשפה טבעית במקום לתת שם מקצועי למשימה כמו סגמנטציה. הפרויקט מחזיק מאגר נפרד לחלוטין לחלק שמבוסס על שמות המשימות המסורתיים.
איך טוענים
המידע מופץ בקבצי Parquet שמחולקים לעשרות קבצי רכבת נפרדים, סך הכל 101 קבצים במאגר. הגישה פתוחה לחלוטין ואין צורך באישור מיוחד. קחו בחשבון שהתמונות שמורות כבינארי ישירות בתוך העמודות, כך שטעינה ישירה של הדאטהסט תדרוש משאבי אחסון וזיכרון משמעותיים כבר בשלב המשיכה הראשוני.
from datasets import load_dataset
ds = load_dataset("axxkaya/UVT-Explanatory-based-Vision-Tasks")הרישיון
הרישיון שדווח במאגר הוא רישיון MIT. מדובר ברישיון קוד פתוח מתירני מאוד שמאפשר שימוש מסחרי, שינוי והפצה, בלי חובה לשתף נגזרות תחת אותו רישיון. החובה המרכזית היא לשמור על הודעת זכויות היוצרים והרישיון המקורי, כולל בעת אימון מודלים על בסיס הנתונים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש