HQ-Edit
קוד פתוחUCSC-VLAAcc-by-nc-4.02024-04-13
המאגר כולל כמעט מאתיים אלף צמדי תמונות עם הוראות עריכה מפורטות. הוא פונה למי שמאמן מודלים לעריכת תמונה לפי טקסט ומחפש נתונים ברזולוציה גבוהה בלי תיוג ידני איטי.
- 1,097הורדות בחודש
- 42לייקים
מה זה
כל רשומה במאגר מורכבת מתמונת מקור, תמונת יעד והוראות טקסטואליות שמסבירות את השינוי ביניהן. המבנה כולל תיאור של תמונת הקלט, התמונה עצמה, פקודת העריכה קדימה, פקודת עריכה הפוכה שמחזירה את המצב לקדמותו, תיאור התוצאה ותמונת הפלט.
התוכן לא נאסף מצלמים או ממתנדבים אנושיים אלא נוצר בצורה סינתטית לחלוטין. החוקרים השתמשו בצינור עבודה שמבוסס על GPT-4V ועל DALL-E 3 כדי לייצר את התמונות, לנסח את השינויים ולבנות את הדוגמאות ברזולוציה גבוהה. המאגר מציג סך הכל 197,350 עריכות שונות שנשענות על המודלים האלה.
מתאים ל
- אימון מודלים לעריכת תמונה
לימוד מודל גנרטיבי לבצע שינויים ממוקדים בתמונות קיימות לפי פקודות טקסט.
- עריכה דו-כיוונית
אימון מערכות לשחזור תמונת המקור באמצעות שדה ההוראה ההפוכה שנכלל בכל רשומה.
- מבחני ביצועים ומחקר
בדיקת יכולת הבנת פקודות שינוי מורכבות על בסיס צמדי תמונות ברזולוציה גבוהה.
איפה זה נופל
ההוראות והתיאורים מופיעים באנגלית בלבד, כך שאין כאן שום כיסוי לעברית או לשפות אחרות בלי תרגום חיצוני. בנוסף, כל המידע סינתטי ומגיע מ־DALL-E 3 ומ־GPT-4V, מה שאומר שהטיות הסגנון, הפגמים האופייניים לבינה מלאכותית ומגבלות הרינדור של המודלים האלה כבר מוטמעים עמוק בתוך התמונות. הכרטיס לא מפרט על סינון בטיחות ידני שבוצע מעבר למה שהמודלים המקוריים מייצרים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
לא, הרישיון שמוגדר במאגר הוא רישיון לא מסחרי. הוא מיועד למחקר ולניסויים בלבד. אם תאמנו עליו מודל, תהיו מוגבלים משפטית ביכולת להציע אותו כשירות מסחרי פתוח.
האם יש במאגר תמיכה בפקודות בעברית?
הטקסטים מוגדרים באנגלית בלבד ואין כאן נתונים מקומיים. כל תיאורי התמונות ופקודות העריכה נכתבו על ידי מודלים שקיבלו הנחיות באנגלית. תצטרכו לתרגם את הפקודות לבד כדי לבדוק עברית.
איך הנתונים האלה נוצרו בפועל?
החוקרים בנו מערך אוטומטי שלא הסתמך על תיוג אנושי או על סימון ידני של שינויים. הם רתמו את GPT-4V יחד עם DALL-E 3 כדי לייצר את תמונות הפלט ולנסח את פקודות העריכה. התהליך הזה מבוסס כולו על מודלי בסיס חיצוניים.
כמה רשומות יש שם ואיך מקבלים גישה?
המאגר מכיל 197,350 עריכות המחולקות בין מאות קבצי parquet שונים. אין צורך לחכות לאישור או לחתום על טפסים כדי לגשת אליהם. מורידים אותם ישירות מתוך הדף בעזרת הכלים הרגילים של הוגינג פייס.
איך טוענים
הנתונים מחולקים למאות קבצי parquet, עם 610 קבצים בסך הכל בתוך תיקיית המאגר. הגישה חופשית ואין צורך בהרשאה מיוחדת או באישור ידני של החוקרים. כדי לעבוד איתו פשוט מושכים את השדות המרכזיים שהם input_image, output_image ופקודות הטקסט בשדות edit ו־inverse_edit ישירות מסביבת פייתון.
from datasets import load_dataset
ds = load_dataset("UCSC-VLAA/HQ-Edit")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0 שמיועד לשימוש לא מסחרי בלבד ומחייב מתן קרדיט ליוצרים. אי אפשר להשתמש בנתונים האלה למוצר שמכניס כסף ישירות, ואימון מודל עליהם עשוי להגביל את היכולת שלכם למסחר את המשקלים או את השירות שתציעו בעתיד.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא