CoSyn-point
קוד פתוחallenaiodc-by2025-02-23
תמונות סינתטיות שנוצרו מקוד ומתויגות בשאילתות ונקודות ציון מדויקות. המטרה כאן היא אימון מודלים של ראייה ממוחשבת להצביע על אלמנטים בתמונה לפי טקסט חופשי.
- 1,945הורדות בחודש
- 16לייקים
מה זה
המאגר כולל תמונות שנוצרו באמצעות הרצת קוד שחולל על ידי המודל קלוד. התמונות מציגות עיצובים גרפיים עשירים בטקסט, כמו דפי אינטרנט או ממשקים, ברזולוציה גבוהה של 2400 על 1200 פיקסלים. לכל תמונה מוצמדות שאלות שנוצרו באמצעות המודל ג'יפיטי 4 או מיני, ולכל שאלה מותאמת נקודת מטרה מדויקת על גבי התמונה בצירים מנורמלים שנעים מאפס עד מאה.
הנתונים מחולקים לשני חלקים לא רשמיים של אימון ואימות. היוצרים מציינים שהחלוקה הזו משקפת את מה שהם הפעילו בפועל בזמן העבודה שלהם, אבל הם עצמם לא ממליצים להשתמש במאגר לצורכי הערכה ומבחן אלא בעיקר לאימון מודלים מולטימודליים.
מתאים ל
- אימון מודלים להצבעה
לימוד מודלי ראייה להחזיר קואורדינטות מדויקות של כפתורים וטקסטים לפי בקשה מילולית.
- הבנת ממשקי משתמש
שיפור היכולת של מודלים מולטימודליים לפענח מבנה של דפי אינטרנט ותוכן גרפי מורכב.
- אוטומציה של סוכנים
אימון סוכני תוכנה שצריכים לזהות היכן ללחוץ במסך מתוך הוראות טקסטואליות.
איפה זה נופל
כל המידע כאן הוא סינתטי לחלוטין. התמונות מבוססות על קוד שנוצר על ידי מכונה והשאלות נכתבו על ידי מודל שפה, מה שאומר שאין כאן תמונות מהעולם האמיתי או שאלות שנכתבו בידי משתמשים בשר ודם. הטקסטים והעיצובים מופיעים באנגלית בלבד ואין במאגר נתונים בעברית. בנוסף, המפתחים מודים שהנתונים לא נועדו להערכה או בנצ'מרק, כך שאי אפשר להסתמך עליהם כדי למדוד ביצועים אמיתיים של מערכת לפני פריסה במוצר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון עצמו מאפשר שימוש כזה בכפוף למתן קרדיט, אך יש לבדוק את תנאי השימוש של אנתרופיק ואופן איי איי שחלים על הנתונים שנוצרו בכלים שלהם. החברות האלו מגבילות שימוש בפלטים שלהן לצורך פיתוח מודלים שמתחרים בהן ישירות. אם אתם בונים מודל פנימי או יישום מבוסס ראייה, כדאי לקרוא בעיון את הסכמי השירות שלהן.
האם המאגר כולל תוכן בעברית?
לא, כל התמונות שרונדרו מהקוד וכל השאלות שנוצרו במאגר מנוסחות באנגלית בלבד. אם המטרה שלכם היא לפענח ממשקים בשפה העברית, תצטרכו לאסוף או לייצר נתונים דומים באופן עצמאי. המאגר מתאים בעיקר לממשקים מערביים באנגלית.
מאיפה הגיעו התמונות והשאלות?
התמונות נוצרו מהרצת קוד שנכתב על ידי המודל קלוד, והקוד עצמו פורסם בריפו נפרד של היוצרים. השאלות שמלוות כל תמונה נוצרו באופן סינתטי באמצעות המודל ג'יפיטי 4 או מיני. הקואורדינטות של התשובות נקבעו בהתאם למיקום האלמנטים שרונדרו על המסך.
האם כדאי להשתמש בפיצול האימות כדי למדוד את דיוק המודל שלי?
היוצרים מציינים במפורש שהם אינם ממליצים להשתמש במאגר למטרות הערכה ומבחן. החלוקה הפנימית שקיימת שם שימשה אותם רק לתהליך העבודה הפנימי שלהם. לצורך בדיקת ביצועים אמיתית כדאי להשתמש במאגרי מבחן מקובלים ולא בנתונים סינתטיים מהסוג הזה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטאסטס של האגינג פייס בפקודת טעינה רגילה, ללא צורך באישור גישה מוקדם או בהרשמה מיוחדת. הנתונים מחולקים לעשרים ושישה קובצי פארקט שונים תחת תיקיית האימון, כך שכדאי להביא בחשבון את נפח התעבורה וזמן הפריסה המקומי בזמן ההורדה.
השדות העיקריים בכל רשומה הם התמונה עצמה בפורמט תמונה, מערך של שאילתות טקסטואליות, ומערך מקביל של קואורדינטות הנקודות. כל נקודה מורכבת מערכי איקס ו-וואי מנורמלים, שמתחילים באפס בפינה השמאלית העליונה ומגיעים עד מאה בפינה הימנית התחתונה של התמונה.
from datasets import load_dataset
ds = load_dataset("allenai/CoSyn-point")הרישיון
הרישיון הרשמי של המאגר הוא או די סי בי אחד אפס, שדורש ייחוס בלבד. עם זאת, התמונות נוצרו מקוד של אנתרופיק והשאלות נבנו באמצעות המודל של אופן איי איי. המשמעות היא שחלים עליהם תנאי השימוש ומדיניות השימוש של שתי החברות הללו, שמגבילים לעיתים אימון של מודלים מתחרים.