flickr-megalith-10m-internvl2-multi-caption
קוד פתוחCaptionEmporiumcc-by-sa-4.02024-08-28
המאגר מרכז 57.3 מיליון תיאורים סינתטיים לתמונות מפליקר, בגרסאות ארוכות וקצרות מכמה מודלי ראייה. הוא שימושי למי שמאמן מודלי תמונה וצריך מספר ניסוחים במקביל לאותה תמונה בדיוק.
- 250הורדות בחודש
- 31לייקים
מה זה
הנתונים מתבססים על אוסף megalith-10m ומכילים 9,549,801 רשומות בחלוקת train יחידה. לכל רשומה יש עד שישה תיאורים שונים: תיאורים ארוכים שנוצרו באמצעות InternVL2 8B, לצד תיאורים קודמים של Florence2 ו־ShareCaptioner, וגרסאות קצרות של עד 30 מילים לכל אחד מהם שזוקקו בעזרת Llama 3.1 8B Instruct. בחלק מהרשומות מצורפים גם ממדי גובה ורוחב מגרסת הרזולוציה הגבוהה.
היוצר ניקה תחיליות קבועות ותיקן הזיות שחזרו על עצמן ברצפים מקולקלים בעזרת מודל שפה, כולל 0.1% שגיאות מ־InternVL2, כ־0.01% מ־Florence2 ו־2.8% מ־ShareCaptioner. המאגר עצמו אינו מכיל את קובצי התמונות אלא מטא-דאטה ותיאורים, כך שאת התמונות עצמן יש להוריד בנפרד ממקורות אחרים או דרך ה־API של פליקר.
מתאים ל
- אימון מחוללי תמונות
אימון מודלי text-to-image באמצעות מגוון רחב של תיאורים מפורטים או קצרים לאותה תמונה.
- אימון מודלי תיאור תמונה
כוונון מודלי image-to-text על ניסוחים סינתטיים מרובי סגנונות שנלמדו ממודלים חזקים.
- יישור פרומפטים מרובה רמות
לימוד מעבר בין ניסוחים תמציתיים עד 30 מילים לתיאורים ארוכים ומפורטים עבור אותו תוכן ויזואלי.
איפה זה נופל
אין כאן בדיקה אנושית, כך שחלק מהתיאורים מכילים שגיאות זיהוי והזיות של המודלים. הטקסט כולו באנגלית, למעט מקרים בודדים שבהם שועתק טקסט שמופיע פיזית בתוך התמונה. התוכן סובל מהטיה מובנית לצילומי חובבים כפי שהועלו לפליקר, והרזולוציות אינן הגבוהות ביותר שקיימות באתר. בנוסף, החפיפה בין מקורות התמונות אינה מושלמת, ובשורות מסוימות התיאורים של מודלים מסוימים נותרו כמחרוזת ריקה לחלוטין.
שאלות
נפוצות
האם המאגר כולל את התמונות עצמן?
לא, המאגר מכיל רק קובצי parquet עם תיאורי הטקסט והמטא-דאטה. כדי להשיג את התמונות צריך להוריד את המאגר המקורי של megalith-10m או למשוך אותן ישירות מפליקר באמצעות כלי חיצוני.
האם יש תמיכה בעברית?
התיאורים נכתבו כולם באנגלית בלבד. עברית עשויה להופיע רק במקרים נדירים שבהם מודל הראייה פענח ושעתק שלט או כיתוב שהופיע בתוך התמונה עצמה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הוא CC BY-SA 4.0 שמתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה ומתן קרדיט. אם אתם משחררים מודל שאומן על הדאטה, ייתכן שתחויבו להפיץ אותו תחת אותו רישיון חופשי.
למה יש כמה תיאורים לכל תמונה?
היוצרים שילבו תיאורים ארוכים משלושה מודלים שונים לצד גרסאות קצרות שחולצו על ידי Llama 3.1. זה מאפשר לבחור בין סגנונות תיאור שונים או לאמן על מספר רמות פירוט במקביל.
איך טוענים
המאגר שמור ב־41 קובצי parquet תחת ספריית train, וזמין לטעינה ישירה ללא צורך באישור גישה או מפתח מיוחד. בעבודה מול Hugging Face מומלץ למשוך רק את עמודות התיאורים הרלוונטיות, במיוחד אם אתם משתמשים רק בגרסאות הקצרות או הארוכות של מודל ספציפי. קחו בחשבון שכדי להשתמש בזה לאימון תצטרכו להצליב את השורות מול קובצי התמונות המקוריים של megalith-10m באמצעות כלי כמו img2dataset.
from datasets import load_dataset
ds = load_dataset("CaptionEmporium/flickr-megalith-10m-internvl2-multi-caption")הרישיון
הרישיון המדווח הוא CC BY-SA 4.0. מותר להשתמש בנתונים לצרכים מסחריים ומחקר, אך חובה לתת קרדיט ליוצרים. סעיף השיתוף הזהה מחייב שכל יצירה נגזרת שתפיצו תחת אותו מאגר תשוחרר תחת אותו רישיון בדיוק, מה שעלול לחול גם על מודלים שמשקלם הושפע ישירות מהנתונים הללו.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון