IQA-PyTorch-Datasets
קוד פתוחchaofengccc-by-sa-4.02023-12-17
המאגר מאגד קובצי ארכיון של מדדי איכות תמונה והערכה אסתטית. הוא חוסך איסוף ידני של סטים מוכרים לצורך עבודה עם ספריית pyiqa.
- 2,336הורדות בחודש
- 24לייקים
מה זה
המאגר הזה אינו דאטהסט אחיד בודד, אלא אסופה של 24 קבצים שנועדו להזנת ספריית pyiqa ב־PyTorch. הרשומות מחולקות לפי ספריות מוכרות בעולם הערכת איכות התמונה והאסתטיקה, ויושבות בארכיונים דחוסים בפורמטים שונים כמו tar, tgz ו־zip. בין הקבצים אפשר למצוא מאגרים ותיקים כמו ava, Waterloo_explore, BID, לצד מאגרים כמו AGIQA-3K, CGFIQA, SPCD ו־AADB.
כרטיס המאגר לא מפרט תהליכי סינון, חלוקה מובנית לטריין וטסט או מבנה אחיד של מטא-דאטה. במקום זה הוא מצהיר במפורש שמדובר באוסף שנאגר ממקורות שונים ברשת לצורכי מחקר והוראה, ומפנה לעמוד חיצוני בשם Awesome Image Quality Assessment לקבלת פרטים על כל סט בנפרד. אין כאן עיבוד מוקדם משותף שמחבר את כולם לפורמט טבלאי אחיד של האגינג פייס.
מתאים ל
- אימון מודלי איכות תמונה
שליפת ארכיונים ספציפיים לאימון מודלים שמדרגים איכות ראייה ממוחשבת באמצעות pyiqa.
- הערכת ציון אסתטי
שימוש בקבצים כמו ava או AADB כדי לבחון יכולת שיפוט אסתטי של אלגוריתמים.
- בנצ'מרק של אלגוריתמי כיווץ
בדיקת ביצועים על סטים ייעודיים כמו Waterloo_explore מול ציוני בני אדם.
איפה זה נופל
היוצר לא לוקח בעלות על הנתונים ומבהיר שאין שום אחריות על הדיוק או ההתאמה שלהם. אין מידע על הטיות מובנות, אין פירוט של שפות, ולא ברור מה גיל התמונות בכל חבילה בלי לבדוק כל מאגר מול המקור שלו. בנוסף, מנהלי המאגר מצהירים שהתכנים עשויים להשתנות, להתווסף או להימחק ללא הודעה מוקדמת, כך שאי אפשר להסתמך עליו כבסיס יציב בייצור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הכללי שמדווח הוא cc-by-sa-4.0, אבל הכרטיס מזהיר במפורש שכל דאטהסט שייך ליוצריו המקוריים. צריך לאתר את תנאי הרישיון של כל ארכיון בנפרד, ובחלק מהמקרים הרישיון המקורי הוא אקדמי בלבד.
כמה המאגר שוקל בסך הכל?
המשקל הכולל לא מצוין בדף, אך הוא מורכב מ־24 קובצי ארכיון גדולים. מורידים רק את הקובץ הדרוש, למשל live.tgz, ישירות דרך כלי השורת פקודה.
האם יש במאגר טקסט או תמונות עם עברית?
אין תיעוד של עברית בכרטיס המאגר. מדובר בקובצי תמונות שנאספו לצורך הערכת איכות חזותית וציוני איכות שנמדדו במחקרים שונים בעולם.
איך הנתונים נאספו ונערכו?
יוצר המאגר לא אסף את התמונות בעצמו, אלא ריכז ארכיונים קיימים ממחקרים שונים לנוחות העבודה עם ספריית pyiqa. לפרטים על תהליך האיסוף של כל קובץ, הכרטיס מפנה למאגר החיצוני Awesome Image Quality Assessment.
איך טוענים
אי אפשר לטעון אותו עם פקודת load_dataset רגילה של האגינג פייס ולקבל טבלה. מורידים קבצים ספציפיים דרך huggingface-cli ישירות למחשב לפי הצורך, למשל הורדה של live.tgz לתיקייה מקומית, ולאחר מכן מחלצים ידנית באמצעות tar. אין צורך באישור גישה מוקדם, אך נדרש מקום פנוי בדיסק בהתאם לגודל הארכיונים שאתם בוחרים לחלץ.
from datasets import load_dataset
ds = load_dataset("chaofengc/IQA-PyTorch-Datasets")הרישיון
הרישיון המוצהר בהאגינג פייס הוא cc-by-sa-4.0, שדורש ייחוס ושיתוף תחת אותו רישיון. בפועל, הכרטיס מבהיר שלכל קובץ באוסף יש בעלים ורישיון מקורי משלו, ועל המשתמש לבדוק אותם ישירות. לא הייתי בונה על זה מוצר מסחרי סגור לפני בדיקת התנאים של כל קובץ ספציפי שנלקח מהאוסף.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון