UltraEdit_500k
קוד פתוחBleachNickcc-by-4.02024-06-07
חצי מיליון דוגמאות לעריכת תמונות מונחית הוראות טקסטואליות. הוא מיועד לחוקרים ומפתחים שבונים מודלים ליצירה ולשינוי תמונה לפי פקודה מדויקת.
- 2,463הורדות בחודש
- 15לייקים
מה זה
המאגר מכיל בין מאה אלף למיליון רשומות, כשהשם שלו מרמז על כחצי מיליון דוגמאות שמיועדות לעריכת תמונה מונחית הוראות לפי המאמר המצורף. הקבצים עצמם מחולקים למאות קובצי פרקט תחת השם FreeForm, מה שמצביע על מבנה של משימות עריכה חופשיות. שפת הטקסט המוגדרת היא אנגלית בלבד.
כרטיס הדאטהסט המקורי ריק כמעט לחלוטין ולא מפרט איך הנתונים נאספו, איך נוצרו השינויים בתמונות או מה היו שלבי הסינון והניקוי. כל המידע המהותי על תהליך ההרכבה והמקורות מסתמך על הציטוט של מאמר המחקר UltraEdit משנת 2024, כך שמי שרוצה להבין את הרכב הדאטה יצטרך לקרוא ישירות את המאמר ולא להסתמך על התיעוד בעמוד.
מתאים ל
- אימון מודלי עריכת תמונה
אימון או כוונון עדין של מודלי דיפוזיה לביצוע שינויים נקודתיים בתמונות לפי פקודת טקסט באנגלית.
- בדיקת ביצועי מודלים
הערכת היכולת של מודלים קיימים להבין פקודות עריכה חופשיות ולבצע שינויים מבוקשים.
- מחקר על עריכה רב-שלבית
ניתוח הקשר בין הוראות טקסט מורכבות לשינויים ויזואליים על פני חצי מיליון דוגמאות.
איפה זה נופל
הבעיה המרכזית כאן היא היעדר תיעוד מוחלט בכרטיס המאגר. היוצרים השאירו את התבנית ריקה, כך שאין שום מידע רשמי על סינון תוכן פוגעני, זיהוי פנים, פרטיות או הטיות מובנות. בנוסף, השפה המוגדרת היא אנגלית בלבד, כך שאין פה תמיכה בעברית או בהוראות עריכה מקומיות. לפני שמשלבים את המידע באימון מודל סופי, חייבים לדגום את קובצי הפרקט ידנית ולבדוק את איכות התמונות וההוראות.
אותה משפחה
UltraEdit יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, הרישיון המדווח במאגר הוא cc-by-4.0 שמתיר שימוש מסחרי. חובה לתת קרדיט נאות ליוצרים לפי דרישות הרישיון ולציין את השינויים שביצעתם.
האם יש בדאטהסט תמיכה בעברית?
לא. הדאטהסט מוגדר באנגלית בלבד. כל פקודות העריכה והתיאורים מופיעים באנגלית, ולא תמצאו שם נתונים מקומיים.
איך הנתונים נאספו ונערכו בפועל?
כרטיס המאגר לא מפרט את אופן האיסוף או הסינון והשאיר את הסעיפים ריקים. המידע היחיד שמקושר למאגר הוא מאמר מחקר מאת Haozhe Zhao ושותפיו משנת 2024 בשם UltraEdit, ושם מתואר הרקע המדעי של הפרויקט.
באיזה מבנה מגיעים הקבצים?
הנתונים מחולקים ל־391 קובצי parquet שונים בתיקיית data תחת התחילית FreeForm. המבנה הזה נועד להקל על טעינה מקבילית ומודולרית במקום קובץ ענק יחיד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה BleachNick/UltraEdit_500k. אין צורך לבקש אישור גישה מראש והמאגר פתוח לציבור.
הנתונים מפוצלים ל־391 קובצי parquet ממוספרים תחת השם FreeForm מתוך 392 קבצים בסך הכל במאגר. בגלל כמות הקבצים וההיקף שנע בין 100K ל־1M רשומות המכילות נתוני תמונה וטקסט, תצטרכו שטח אחסון משמעותי וחיבור רשת יציב, וכדאי לשקול טעינה בסטרימינג לפני שמורידים את הכל לדיסק.
from datasets import load_dataset
ds = load_dataset("BleachNick/UltraEdit_500k")הרישיון
הרישיון המדווח הוא cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרי מודלים תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס