dalle-3-dataset
קוד פתוחOpenDatasetscc0-1.02024-02-13
המאגר כולל זוגות של תמונות ותיאורים שנאספו מערוץ דיסקורד ייעודי. מי שחוקר יצירת תמונות ימצא כאן פרומפטים אמיתיים של משתמשים לצד התוצאות שהופקו בפועל.
- 2,752הורדות בחודש
- 27לייקים
מה זה
הנתונים מורכבים מזוגות של תמונה וכיתוב שנשמרו ישירות מערוץ שיתוף ייעודי של קהילת LAION בדיסקורד. המטרה המוצהרת של היוצרים היא מחקר וחקירה של הקשר בין טקסט לדימוי חזותי. כל שורה מייצגת הודעה שעלתה לערוץ וכוללת את התמונה שצורפה לה, הפרומפט ששימש ליצירה, קישור ישיר, מזהה הודעה וזמן הפרסום המקורי.
כרטיס הנתונים לא מפרט תהליכי סינון, ניקוי או בקרת איכות שנעשו אחרי הגירוד. הקוד ששימש לאיסוף פורסם בגיטהאב של LAION, אך אין תיעוד של חלוקה מובנית לסט אימון, בדיקה או ולידציה מעבר לחלוקה הטכנית של קובצי המקור.
התוכן משקף בדיוק את מה שחברי הקהילה בחרו לשתף בערוץ באותה תקופה. כיוון שאין עדות לסינון ידני של התכנים, הרשומות כוללות את הניסוחים הגולמיים של המשתמשים ואת התמונות כפי שנשמרו בהודעות.
מתאים ל
- אימון מודלי ייצור תמונה
שימוש בזוגות של פרומפט ותוצאה חזותית ללימוד הקשר בין תיאור מילולי לתמונה.
- ניתוח פרומפטים
מחקר על אופן הניסוח של משתמשים והשפעתו על מאפייני הפלט החזותי.
- בדיקת איכות של תיאורים
הערכת מידת ההתאמה בין טקסט שנכתב בדיסקורד לבין הדימוי שנוצר בפועל.
איפה זה נופל
הטקסטים במאגר מוגדרים באנגלית בלבד, ואין בו ייצוג לשפות אחרות או לעברית. מקור הנתונים בערוץ דיסקורד ציבורי מייצר הטיה מובהקת לכיוון תחומי העניין, הסגנון והשפה של משתמשי אותה קהילה. הכרטיס לא מציין סינון של תוכן פוגעני, זכויות יוצרים של תמונות מקור, או בדיקות כפילויות. לפני שמשלבים את המידע באימון מודל שמיועד להפצה, צריך לבדוק ידנית את טיב התיאורים ואת תוכן התמונות עצמן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח הוא cc0-1.0, שמבחינה משפטית מוותר על כלל הזכויות ומאפשר שימוש מסחרי מלא בלי חובת ייחוס. עם זאת, התמונות נאספו מהודעות משתמשים בדיסקורד ולא ברור אם קיימות זכויות צד שלישי על הדימויים עצמם. מי שמתכנן להפיץ מודל מסחרי צריך לקחת בחשבון את המקור של התוכן.
האם יש במאגר נתונים בעברית?
המאגר מוגדר רשמית כדובר אנגלית בלבד. התיאורים נאספו מקהילה בינלאומית שכותבת באנגלית, ולכן אינו מתאים למי שמחפש לאמן מודלים על פרומפטים בעברית. ייתכן שיש אזכורים בודדים בטקסטים חופשיים, אך אין תמיכה סדורה בשפה.
איך המידע נאסף והאם נעשה סינון?
הנתונים נאספו בעזרת כלי גירוד ייעודי מערוץ שיתוף פתוח בשרת הדיסקורד של LAION. כרטיס הדאטהסט אינו מדווח על תהליך ניקוי, סינון תוכן או בקרת איכות שבוצעו לאחר האיסוף. כל מה שהמשתמשים העלו לערוץ באותם תאריכים נשמר ישירות אל תוך הקבצים.
באיזה מבנה הקבצים מגיעים?
המידע ארוז ב־68 קובצי פרקט שכוללים את התמונות עצמן בתוך הרשומות לצד הטקסטים והמטא-דאטה. אין צורך להוריד את התמונות בנפרד מכתובות רשת חיצוניות, כי הנתונים מוטמעים בקבצים. המבנה הזה מקל על הטעינה הראשונית בספריות קוד נפוצות.
איך טוענים
המאגר מחולק ל־68 קובצי פרקט שונים תחת תיקיית המידע. אפשר לגשת אליהם ישירות דרך ספריית datasets הרגילה בלי צורך בהרשאה מיוחדת או באישור גישה מוקדם, שכן המאגר פתוח לחלוטין.
השדות המרכזיים לעבודה הם caption שמכיל את הטקסט, ו־image שכולל את קובץ התמונה עצמו בצורה מוטמעת. בנוסף תמצאו את link, message_id ואת timestamp. שימו לב שהתמונות יושבות ישירות בתוך הקבצים, מה שדורש מקום פנוי בדיסק וזמן פריסה בהורדה של כל החלקים.
from datasets import load_dataset
ds = load_dataset("OpenDatasets/dalle-3-dataset")הרישיון
המאגר פורסם תחת רישיון cc0-1.0, שמשמעותו ויתור על זכויות יוצרים והעברת החומר לנחלת הכלל ככל שניתן לפי חוק. הרישיון מתיר שימוש מסחרי, שינוי והפצה מחדש בלי חובת ייחוס ובלי דרישה לשתף תוצרים באותו רישיון. החופש הזה חל על קובצי הדאטהסט עצמם, ואינו מהווה הגנה מפני תביעות לגבי זכויות צד שלישי בתוכן התמונות שהועלו לרשת.