conceptual-captions-cc12m-llavanext
קוד פתוחCaptionEmporiumcc-by-sa-4.02024-06-12
המאגר מחליף את טקסט ה־alt הגולמי והרועש של Conceptual 12M בתיאורים סינתטיים מפורטים. הוא מתאים למי שמאמן מודלי ראייה ושפה וצריך כיתובים עקביים באנגלית בלי לגרד את הרשת לבד.
- 504הורדות בחודש
- 28לייקים
מה זה
המאגר כולל 10,965,172 רשומות בחלוקת train יחידה, שמכילות בסך הכל 21,930,344 כיתובים סינתטיים. הבסיס מגיע מהארכיון cc12m-wds שפורסם בהאגינג פייס, שמקורו במאגר המקורי של גוגל. כל רשומה כוללת קישור לתמונה, ממדי רוחב וגובה, מזהה, את הטקסט המקורי מהאינטרנט, ושני כיתובים שיוצרו בעזרת בינה מלאכותית: גרסה מפורטת וגרסה מקוצרת.
הכיתובים נוצרו באמצעות המודל llama3-llava-next-8b שקיבל את התמונה לצד טקסט ה־alt כרמז. כ־2.6% מהתוצאות הראשוניות כללו חזרות או ביטויים תקולים שסומנו מראש, ועברו ניקוי ועריכה מחדש עם Meta-Llama-3-8B. בהמשך קוצרו תחיליות מיותרות, ואותו מודל טקסטואלי תמצת את הפלט למשפט יחיד של עד 30 מילים עבור השדה הקצר.
מתאים ל
- אימון מודלי טקסט לתמונה
שימוש בכיתובים המפורטים או המקוצרים כדי ללמד מודלי יצירה לחבר בין תיאור מדויק למבנה התמונה.
- אימון מודלי שפה וראייה
כוונון מודלים רב-מודאליים למשימות הבנת תמונה ותיאור גרפי על בסיס כעשרה מיליון דוגמאות.
- סינון וטיוב דאטהסטים
הצלבת הטקסט המקורי מהאינטרנט עם התיאור הסינתטי כדי לזהות פערי איכות ולסנן רעש לפני אימון.
איפה זה נופל
הכיתובים קיימים באנגלית בלבד ואין כאן עברית כלל. התוכן סובל מהטיות שמקורן בטקסט ה־alt ששימש כרמז למודל ובהטיות של נתוני האימון של המודלים עצמם. היוצרים מדווחים כי כ־0.0018% מהתמונות נכשלו בתהליך וקיבלו את הכיתוב הסתמי An image, וייתכנו שגיאות תיאור בודדות שלא נוקו. בנוסף, קישורי התמונות נלקחו מהרשת ולכן חלקם הגדול עשוי להיות שבור בזמן ההורדה.
שאלות
נפוצות
האם הדאטהסט כולל את קובצי התמונות עצמם?
לא. המאגר מציע קובץ טקסטואלי דחוס עם קישורי רשת ומטא-דטה, ותצטרכו להריץ תהליך הורדה עצמאי כדי למשוך את התמונות.
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון מאפשר שימוש מסחרי תחת דרישת ייחוס, אך כולל סעיף שיתוף זהה שמחייב הפצה של תוצרים נגזרים באותו רישיון. יש לוודא שהתנאי הזה מתאים למדיניות הקוד והנתונים שלכם.
מה ההבדל בין המאגר הזה ל־Conceptual 12M המקורי?
במקור של גוגל הטקסטים מבוססים על מה שנאסף מתוך עמודי אינטרנט, ולעיתים קרובות מדובר בטקסט חלקי או לא רלוונטי. כאן המודלים יצרו תיאור ענייני של מה שרואים בפועל בתמונה, בשתי רמות פירוט.
האם יש במאגר תמיכה בעברית?
אין שום תמיכה בעברית. כל התיאורים הסינתטיים הופקו באנגלית בלבד באמצעות המודלים של Llama.
איך טוענים
הנתונים מרוכזים בקובץ train.jsonl.gz ואינם דורשים אישור גישה מיוחד. כדי להשתמש בהם בפועל תצטרכו להוריד את התמונות עצמן מכתובות ה־url המופיעות בכל שורה, שכן המאגר מכיל מטא-דטה וכיתובים בלבד. השדות העיקריים לעבודה הם caption_llava עבור כיתוב עשיר ומפורט, caption_llava_short לגרסה תמציתית, ו־url למשיכת התמונה.
from datasets import load_dataset
ds = load_dataset("CaptionEmporium/conceptual-captions-cc12m-llavanext")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי, אך מחייב מתן קרדיט ליוצרים ושיתוף של כל מאגר נגזר תחת אותם תנאים בדיוק. אם אתם מתכננים לאמן מודל, חשוב לבדוק משפטית האם משקולות המודל נחשבות יצירה נגזרת שמחייבת פתיחה תחת אותו רישיון שיתוף.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון