UltraHR-100K
קוד פתוחzhihefangcc-by-4.02025-10-24
מאגר של מאה אלף תמונות ברזולוציה של מעל 3K לצד תיאורי טקסט מפורטים. הוא נבנה במיוחד לאימון מודלי יצירת תמונה מטקסט שמתמקדים בפרטים חדים.
- 7,204הורדות בחודש
- 37לייקים
מה זה
המאגר כולל כ־100,000 תמונות באיכות אולטרה גבוהה בליווי כיתובים באנגלית. כל תמונה במאגר עוברת רזולוציה של שלושת אלפים פיקסלים, במטרה לספק מענה למחסור בנתוני אימון חדים שמסוגלים לשמר פרטים קטנים ומורכבים. לצד קובצי האימון הראשיים, המאגר מציע גם סט מבחן בשם UltraHR-eval4K שמיועד להערכת ביצועי מודלים ברזולוציית 4K.
לפי כרטיס המאגר, התמונות עברו סינון קפדני לפי עושר הפרטים, מורכבות התוכן והאיכות האסתטית שלהן. הכרטיס לא מפרט מה היו המקורות המקוריים שמהם נאספו התמונות ברשת או באילו כלים בדיוק בוצע הסינון והתיוג, אך מציין קובץ בשם Fliter.zip שנמצא במאגר לצד חלקים מפוצלים של קובצי ארכיון.
מתאים ל
- אימון מודלי תמונה
אימון או כוונון עדין של מודלי דיפוזיה ליצירת תמונות ברזולוציה גבוהה במיוחד.
- הערכת איכות פירוט
בדיקת היכולת של מודלים קיימים לשחזר תדרים גבוהים ופרטים עדינים באמצעות סט המבחן.
- מחקר אלגוריתמי דיפוזיה
פיתוח שיטות דגימה רגישות תדר או שימור פרטים במחקר אקדמי לא מסחרי.
איפה זה נופל
הכרטיס לא חושף את מקור התמונות, מה שיוצר סיכון של הפרת זכויות יוצרים או חשיפה למידע רגיש. הטקסטים מוגבלים לאנגלית בלבד, ואין מידע על הטיות גאוגרפיות, דמוגרפיות או נושאיות שנכנסו במהלך הסינון. בנוסף, חל איסור מפורש לנסות לזהות אנשים שמופיעים בתמונות, כך שחובה לוודא שהשימוש שלכם אינו נוגע בזיהוי פנים או בניתוח פרטיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. למרות שבדף המאגר מופיע סיווג cc-by-4.0, הטקסט הרשמי קובע בבירור רישיון CC BY-NC 4.0 שמגביל את השימוש למחקר לא מסחרי בלבד. אימון מודל שמיועד למכירה או לשירות מסחרי מהווה הפרה של תנאי השימוש.
האם יש במאגר תמיכה בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל תיאורי התמונות נכתבו באנגלית. אם אתם מכוונים למודל שמקבל פקודות בעברית, תצטרכו לתרגם את התיאורים באופן עצמאי.
כיצד התמונות נאספו ונבחרו?
החוקרים מציינים שהתמונות נבחרו לפי איכות אסתטית, מורכבות תוכן ועושר פרטים, כאשר כולן מעל רזולוציית 3K. עם זאת, אין פירוט בכרטיס לגבי האתרים שמהם נלקחו התמונות או הכלים המדויקים ששימשו לסינון.
איך מורידים ופותחים את הנתונים?
הקבצים שמורים במאגר כארכיון זיפ שמחולק למספר חלקים, לצד קובץ בשם Fliter.zip. יש להוריד את כל חלקי הארכיון כדי לאחד ולחלץ את התמונות והכיתובים במלואם.
איך טוענים
הנתונים מפוצלים לארכיוני זיפ בחלקים, כמו part_aa ועד part_af, יחד עם קובץ בשם Fliter.zip מתוך למעלה משנים עשר אלף קבצים במאגר. תצטרכו להוריד את כל החלקים ולחבר אותם ידנית לפני החילוץ. המאגר פתוח להורדה ישירה ללא צורך בהרשאה מיוחדת, אך תמונות ברזולוציה שמעל 3K דורשות נפח אחסון גדול ותשתית עיבוד שמסוגלת להתמודד עם קבצים כבדים בזמן הטעינה לאימון.
from datasets import load_dataset
ds = load_dataset("zhihefang/UltraHR-100K")הרישיון
יש סתירה מהותית בין המטא-דאטה שטוען לרישיון cc-by-4.0 לבין גוף הטקסט שקובע רישיון CC BY-NC 4.0 מחמיר. לפי הטקסט, השימוש מותר למחקר ולמטרות לא מסחריות בלבד, תוך מתן קרדיט מלא. מותר לאמן מודלים כל עוד התוצרים אינם מכילים חלק משמעותי מהמידע המקורי, אך אסור להשתמש בנתונים למוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס