sketch-scene
קוד פתוחzohebcc-by-nc-sa-4.02022-10-29
המאגר מחבר בין תיאורי טקסט לסקיצות יד חופשית של סצנות שלמות. מי שבונה מודלים ליצירת איורים או שרבוטים מטקסט ימצא כאן חומר שמגיע מאנשים רגילים ולא ממאיירים מקצועיים.
- 100הורדות בחודש
- 26לייקים
מה זה
הנתונים מתבססים על המחקר FS-COCO שהוצג ב־ECCV בשנת 2022. מאה אנשים ללא רקע מקצועי ברישום יצרו כעשרת אלפים סקיצות יד חופשית וקטוריות, שכוללות מידע של נקודות במרחב ובזמן, תוך דגש על שרבוט של סצנה שלמה תוך דקות ספורות ולא רק של חפץ בודד.
בגרסה הזו שנמצאת ב־Hugging Face, כל רשומה כוללת שני שדות פשוטים: תמונה בשדה image שנשמרה כקובץ JPEG בגודל משתנה, ותיאור מילולי תואם בשדה text. החלוקה פה מכילה רק קבוצת אימון אחת, ללא פיצול מובנה מראש של ולידציה או בדיקה, כך שתצטרכו לחתוך חלק מהנתונים לבד כדי להעריך תוצאות.
מתאים ל
- אימון מחוללי סקיצות
יצירת סקיצות ושרבוטים מבוססי טקסט באמצעות מודלי דיפוזיה או רגרסיה מותאמים.
- מחקר הבנת סצנות מופשטות
בדיקת היכולת של ראייה ממוחשבת לזהות הקשרים בין עצמים בציורים לא מדויקים.
- הערכת מודלים רב-מודאליים
בחינת יכולת הקישור בין שפה טבעית באנגלית לקווי מתאר מינימליסטיים.
איפה זה נופל
הטקסטים במאגר כתובים כולם באנגלית, ללא עברית כלל. השרבוטים נוצרו על ידי מאה אנשים בלבד, עובדה שעלולה להכניס סגנון ציור שחוזר על עצמו או הטיות ייצוג שקשה לנטרל. בנוסף, הכרטיס לא מספק חלוקת מבחן רשמית, כך שכל מי שבונה מודל יצטרך לבצע פיצול עצמאי כדי למנוע דליפת נתונים בין האימון להערכה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0, שאינו מתיר שום פעילות מסחרית. כל תוצר או מודל שתפתחו בעזרתו מוגבל למטרות מחקר ושימוש אישי בלבד.
האם יש במאגר תמיכה בשפה העברית?
לא. כל התיאורים בשדה הטקסט נכתבו באנגלית בלבד. אם המטרה שלכם היא לעבוד עם הנחיות בעברית, תצטרכו לתרגם את הנתונים בעצמכם לפני שתתחילו לעבוד.
איך נאספו הנתונים האלה?
מאה אנשים שאינם מאיירים התבקשו לשרבט סצנות שלמות ביד חופשית תוך דקות ספורות, לצד תיאור מילולי מתאים. החוקרים אספו כעשרת אלפים סקיצות וקטוריות במקור, שהומרו כאן לתמונות JPEG.
האם הדאטהסט כולל חלוקה ל־validation או test?
לא. המאגר מכיל רק פיצול אימון יחיד בתוך קובץ פרקט אחד. כדי לבדוק ביצועים בצורה אמינה, תצטרכו להפריד ידנית חלק מהדוגמאות לטובת בדיקה.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה של Hugging Face בפקודה רגילה, ללא צורך בהרשאות גישה מיוחדות או אישור מוקדם. הנתונים מרוכזים בקובץ Parquet בודד שכולל את קבוצת האימון, כך שההורדה מהירה ופשוטה. השדות החשובים לשימוש הם image שמחזיר אובייקט PIL, ו־text שמכיל את תיאור הסצנה באנגלית.
from datasets import load_dataset
ds = load_dataset("zoheb/sketch-scene")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג שהוא, דרישה לתת קרדיט ליוצרים, וחובה לשתף כל נגזרת תחת אותו הרישיון בדיוק. מודל שתאמנו על הנתונים הללו יהיה מוגבל למחקר בלבד ולא תוכלו לשלב אותו במוצר רווחי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא