Recap-COCO-30K
קוד פתוחUCSC-VLAAcc-by-4.02024-06-12
המאגר מציע כיתובים חדשים ומפורטים שנוצרו על ידי LLaVA לתמונות מסט האימות של COCO 2014. הוא מיועד למי שרוצה להעריך מודלי טקסט לתמונה עם תיאורים עשירים יותר מהמקור.
- 171הורדות בחודש
- 26לייקים
מה זה
הנתונים מבוססים על סט הוולידציה של COCO 2014, שכולל תמונות מוכרות מעולם הראייה הממוחשבת לצד התיאורים המקוריים שלהן. החוקרים לקחו את התמונות האלה והריצו עליהן את מודל LLaVA כדי לייצר כיתוב מורחב ומפורט מחדש, כחלק ממחקר רחב יותר על כיתוב מחדש של מיליארדי תמונות רשת.
המבנה של כל רשומה כולל ארבעה שדות פשוטים. יש שם את מזהה התמונה המקורי של COCO, קישור ישיר לקובץ התמונה, הטקסט המקורי הקצר שנכתב בידי אדם, והטקסט החדש שייצר המודל. אין פה חלוקה מורכבת לתתי קבוצות, אלא קובץ מרכזי אחד שמרכז את כל ההשוואה בין התיאור הישן לחדש.
מתאים ל
- הערכת מודלי תמונה
בדיקת איכות יצירת תמונות מול פרומפטים מפורטים במקום כיתובים קצרים.
- אימון משווה לכיתוב
למידה של הפער בין כיתוב אנושי קצר לתיאור מכונה מפורט.
- כוונון מודלי שפה
שימוש בטקסטים החדשים כדי ללמד מודלים לתאר תמונות באופן עשיר יותר.
איפה זה נופל
הטקסטים החדשים נוצרו לחלוטין על ידי LLaVA, מה שאומר שהם סוחבים איתם הזיות אופייניות למודלי שפה ותיאורים של פרטים שאולי לא קיימים בתמונה. כל המידע והתמונות מגיעים מסט ישן יחסית של COCO מ 2014, כך שהעולם הוויזואלי מוגבל לתקופה ההיא. אין כאן מילה בעברית, כל הכיתובים באנגלית בלבד. אם המוצר שלכם פונה לקהל ישראלי או דורש שפות נוספות, הנתונים האלה לא יעזרו לכם בלי תרגום משמעותי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא. הדרישה היחידה היא לתת קרדיט ברור לחוקרים שפרסמו את הדאטהסט. המודל שתאמנו או המוצר שתפתחו יכול להישאר קנייני וסגור.
האם קובצי התמונות עצמם כלולים בהורדה?
לא, המאגר כולל רק קובץ נתונים בפורמט parquet שמכיל קישורים לתמונות של COCO. כדי לראות את התמונות תצטרכו למשוך אותן בעצמכם מהקישורים המצורפים ברשומות. מומלץ לוודא שיש לכם חיבור רשת יציב או עותק מקומי של COCO 2014.
האם יש במאגר תמיכה בשפה העברית?
לא, הנתונים כולם באנגלית בלבד. גם הכיתובים המקוריים של COCO וגם הפלטים של LLaVA לא מכילים עברית. אם המטרה היא עבודה בעברית תצטרכו לתרגם את השדות באופן עצמאי.
מה ההבדל בין המאגר הזה ל COCO הרגיל?
סט COCO המקורי כולל כיתובים תמציתיים שאנשים כתבו, לרוב משפט אחד קצר. כאן הוסיפו לכל תמונה עמודה נוספת של כיתוב עשיר וארוך שנבנה על ידי LLaVA. המטרה היא לספק תיאור מדויק ועמוס יותר שמתאים לבדיקת מודלים עדכניים.
איך טוענים
טוענים את המאגר ישירות מ Hugging Face, כשהנתונים שמורים בקובץ new_data.parquet לצד קובץ התיעוד. הגישה פתוחה לחלוטין ואין צורך לבקש אישור מיוחד מהיוצרים. שימו לב שהקובץ מחזיק כתובות רשת לתמונות ולא את קובצי התמונה עצמם, כך שאם אתם מתכננים להריץ הערכה בפועל תצטרכו להוריד את התמונות משרתי COCO לפי הקישורים או להשתמש בעותק מקומי של COCO 2014 שכבר שמור אצלכם.
from datasets import load_dataset
ds = load_dataset("UCSC-VLAA/Recap-COCO-30K")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. זה אומר שמותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולשלב אותו באימונים, כל עוד נותנים קרדיט מתאים ליוצרים. אין חובה לשתף את התוצרים באותו הרישיון, כך שאפשר לאמן עליו מודלים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס