HumanCaption-HQ-311K
קוד פתוחOpenFace-CQUPTcc-by-4.02024-10-23
מאגר של תיאורי תמונות פנים ואנשים ברזולוציה גבוהה שנבנו עם GPT-4V. הוא מיועד למי שמאמן מודלי ראייה ושפה וצריך כיתובים מפורטים בהרבה ממה שיש בקולקציות רגילות ברשת.
- 55הורדות בחודש
- 25לייקים
מה זה
המאגר כולל סביב 311 אלף צמדים של תמונות ותיאורים טקסטואליים של בני אדם ופנים. לעומת גרסאות רחבות יותר כמו גרסת עשרת המיליונים של אותו צוות, כאן סיננו את התמונות כדי להשאיר רזולוציה גבוהה בלבד, והשתמשו ביכולות הראייה של GPT-4V כדי לייצר תיאורים עשירים ומדויקים יותר למחקר והבנה חזותית.
הטקסטים מגיעים בקובץ parquet, אבל התמונות עצמן לא יושבות בתוך החבילה הבסיסית. מקור התמונות הוא במאגר Laion-face, והחוקרים השתמשו בנתונים האלה לאימון השלב השני של מודל HumanVLM כדי לשפר יצירת כיתובים והבנת תוכן אנושי.
מתאים ל
- אימון שלב שני בראייה ממוחשבת
כוונון עדין של מודלי שפה-תמונה ליצירת תיאורים מפורטים של דמויות אנושיות והבעות פנים.
- יצירת תמונות מטקסט מפורט
אימון מודלי דיפוזיה שמחייבים פרומפטים מורכבים במיוחד כדי ליצור דיוקנאות אמינים.
- הערכת מודלי כיתוב תמונה
בדיקת יכולת של מודלים קיימים לתאר סצנות עם בני אדם ברמת פירוט גבוהה לעומת GPT-4V.
איפה זה נופל
הטקסט כולו באנגלית ונוצר בעזרת מודלים כמו GPT-4V ו־Qwen, כך שהוא סוחב איתו הזיות וטעויות ניתוח של מודלי שפה. היוצרים עצמם מזהירים מפני תוכן לא בטוח, אי דיוקים והטיות בתיאורי הפנים.
בנוסף, הנתונים מתמקדים אך ורק בבני אדם ובתווי פנים, כך שהם לא רלוונטיים לזיהוי אובייקטים כללי. אין כאן עברית כלל, וסרבול ההורדה של התמונות בנפרד מקשה על בדיקה מהירה של הנתונים לפני עבודה מעשית.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
עדיף שלא. הרישיון המוגדר הוא אמנם cc-by-4.0, אך היוצרים ציינו מפורשות בטקסט שהשימוש מיועד למטרות מחקר וחינוך בלבד. מעבר לכך, התמונות מגיעות מ־Laion-face ומחייבות חתימה על הסכם שימוש ייעודי.
האם המאגר כולל תמיכה בעברית?
לא. כל התיאורים והכיתובים נוצרו באנגלית בלבד. אם אתם צריכים עברית, תצטרכו לתרגם את התיאורים באופן עצמאי.
למה התמונות לא יורדות יחד עם קוד הטעינה?
המאגר בהאגינג פייס מחזיק בעיקר את קובץ הטקסט בפורמט parquet. כדי להשיג את התמונות המקוריות, יש צורך בהרשמה ובאישור גישה דרך הקישור לגיטהאב שמופיע בעמוד המאגר.
במה הוא שונה מגרסת HumanCaption-10M?
הגרסה הזו קטנה בהרבה, סביב 311 אלף רשומות לעומת עשרה מיליון, אך התמונות עברו סינון לרזולוציה גבוהה יותר. בנוסף, התיאורים כאן נוצרו מחדש עם GPT-4V והם עשירים ומדויקים יותר.
איך טוענים
טוענים את הטקסט ישירות דרך ספריית datasets בפייתון בעזרת מזהה המאגר. הקובץ המרכזי ששמור במאגר הוא human_caption_hq.parquet שמחזיק את התיאורים והמטא-דאטה.
קחו בחשבון שהתמונות המקוריות דורשות תהליך נפרד לחלוטין. צריך להגיש בקשת גישה והסכם בגיטהאב מול פרויקט התמונות של Laion-face, ורק אחרי אישור אפשר להוריד את הקבצים הגרפיים ולהצליב אותם עם הטקסט.
from datasets import load_dataset
ds = load_dataset("OpenFace-CQUPT/HumanCaption-HQ-311K")הרישיון
הרישיון הרשמי בעמוד הוא cc-by-4.0 שמתיר בדרך כלל שימוש חופשי כולל מסחרי תחת מתן קרדיט. יחד עם זאת, היוצרים הוסיפו סייג מפורש בטקסט לפיו המאגר מיועד אך ורק למחקר ולחינוך, והתמונות עצמן כפופות להסכם נפרד מול Laion. זה יוצר סיכון משפטי ברור ולא מומלץ לבנות עליו מודל למטרות רווח.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס