GGT-100K
קוד פתוחVCLab-PolyUcc-by-nc-nd-4.02026-05-21
זוגות של תמונות באיכות נמוכה מול שחזור באיכות גבוהה שנוצר באמצעות מודלי יסוד. מיועד למי שרוצה לאמן מודלים לשחזור תמונה בעולם האמיתי.
- 697הורדות בחודש
- 45לייקים
מה זה
המאגר מציע זוגות של תמונות מקור פגומות ותמונות יעד מתוקנות באיכות גבוהה, שנוצרו באמצעות מודלי יסוד רב-מודאליים כדי לשפר הכללה במשימות שחזור תמונה. החוקרים יצרו את הנתונים בתהליך בן ארבעה שלבים, הכולל איסוף תמונות עם פגמים אמיתיים מהעולם האמיתי ויצירת תמונות ייחוס תואמות בעזרת מודלי שחזור קיימים.
המבנה במאגר מחולק לשלושה חלקים עיקריים. החלק הראשון מכיל את נתוני הליבה של הזוגות החדשים. החלק השני מרכז תחתיו מאגרים קיימים וחיצוניים מעבודות קודמות, כמו קובצי זוגות מוקטנים מניסויים של טשטוש, רעש, גשם ותאורה חלשה, במטרה לאפשר אימון משולב. החלק השלישי מספק משקולות מאומנים מראש של עשרה מודלים בסיסיים, הן בהגדרת אימון על הנתונים הקודמים בלבד והן באימון משותף עם המאגר הנוכחי.
מתאים ל
- אימון שחזור תמונה
אימון מודלים להסרת רעשים, טשטוש ופגמי צילום אמיתיים מתוך תמונות פגומות.
- השוואת מודלים פתוחים
מדידת ביצועים של מודלי שיקום קיימים בעזרת סט הבחינה שמכיל חמש מאות דוגמאות.
- בדיקת השפעת נתוני בסיס
השוואת משקולות מוכנים כדי לבחון האם שילוב דאטהסטים קודמים משפר את התוצאה.
איפה זה נופל
תמונות היעד אינן צילומים אמיתיים ונקיים של אותה סצנה, אלא תוצרים מלאכותיים שנוצרו על ידי מודלים אחרים. המשמעות היא שהזיות, מריחות או טעויות שמודל המקור יצר עלולות להשתרש באימון. המאגר מבוסס על שילוב של אוספי עבר ידועים, כך שההטיות של אותם מקורות, כמו זוויות צילום או סוגי חיישנים ספציפיים, נשארות בפנים. שדה ההנחיה הטקסטואלי ריק ברובו ולא נבדקה בו שום תמיכה בשפות שאינן אנגלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר מוגן תחת רישיון שאוסר שימוש מסחרי מכל סוג שהוא. בנוסף, חל איסור על יצירת נגזרות, מה שמונע שילוב שלו במוצרים סגורים. השימוש מותר רק למחקר עצמאי שאינו למטרות רווח.
איך נראים הקבצים במאגר ומה צריך להוריד?
המאגר מפוצל לעשרות ארכיונים מכווצים לפי מקורות שונים ומודלים מוכנים. הטעינה נעשית דרך שלושה קובצי רשימות שמחברים בין תמונת מקור פגומה לתמונת יעד. רוב הקבצים דורשים חילוץ וחיבור מקומי לנתיבי התיקיות.
איך נוצרו תמונות היעד במאגר?
החוקרים אספו תמונות פגומות מהעולם האמיתי והפיקו את התמונות המשוחזרות באמצעות מודלי יסוד רב-מודאליים. התהליך כלל ארבעה שלבי עיבוד וסינון כדי לייצר זוגות עקביים. לכן לא מדובר בצילום כפול פיזי באותה סביבה אלא בשחזור חישובי.
האם יש במאגר טקסט או תמיכה בעברית?
הנתונים הם בעיקר קובצי תמונה והטקסט היחיד שנמצא ברשומות הוא שדה הנחיה קצר. השדה הזה ריק כמעט לחלוטין ומשמש רק מודל עריכה יחיד. אין במאגר שום עיסוק בטקסט מקומי או בעברית.
איך טוענים
הנתונים מגיעים בארכיון שמחולק לכשבעים ושניים קבצים מכווצים, ללא צורך בהרשאת גישה מיוחדת להורדה. הקישור בין התמונות מנוהל באמצעות קובצי שורות ג'ייסון, שבהם כל רשומה כוללת נתיב יחסי לתמונת המקור, נתיב לתמונת היעד, ושדה טקסט שמיועד להנחיה. בפועל, רוב האלגוריתמים מתעלמים משדה ההנחיה והוא נשאר ריק, למעט במודלים מבוססי עריכת תמונה כמו אלה ממשפחת קוון.
from datasets import load_dataset
ds = load_dataset("VCLab-PolyU/GGT-100K")הרישיון
הרישיון שהוגדר הוא מסחרי שלילי עם איסור יצירות נגזרות. אסור להשתמש בנתונים האלה לשום מטרה מסחרית, ונדרש מתן קרדיט מלא ליוצרים מהאוניברסיטה הפוליטכנית בהונג קונג וממכון המחקר אופו. הגבלת איסור הנגזרות יוצרת בעיה ממשית במודלים, כי יצירת נגזרת או הפצת נתונים מעובדים חסומות, ולכן לא הייתי מתקרב לזה בסביבת ייצור עסקית.