HumanCaption-10M

מה זה

המאגר כולל כעשרה מיליון רשומות המקשרות בין תמונות של בני אדם לבין תיאורים מילוליים מפורטים של תווי הפנים והסצנה. זהו דור ההמשך למאגר קודם של אותו צוות, FaceCaption-15M, והוא נבנה במטרה לשפר את היכולת של מערכות ראייה ממוחשבת להבין בני אדם. התוכן הטקסטואלי עצמו נוצר באופן סינתטי באמצעות מודלים ציבוריים כמו Qwen, שסרקו את התמונות וחילצו מאפיינים פיזיים לשפה טבעית.

מקור התמונות מבוסס על המאגר Laion-face. הקבצים כאן מחזיקים רק את המידע הטקסטואלי והקישורים, ולא את קובצי התמונות המקוריים עצמם. כדי לקבל את הדאטה השלם צריך לפנות לתהליך חיצוני שמחבר בין התיאורים לקבצים החזותיים המקוריים.

מתאים ל

• אימון מודלי ראייה שפה

  חיבור תיאורים עשירים של פנים למודלים מולטימודליים כמו LLaVA כדי לשפר זיהוי והבנת סצנות אנושיות.

• יצירת תמונות מטקסט

  כוונון מודלי דיפוזיה לייצור תווי פנים מדויקים ומגוונים לפי תיאור מילולי מפורט.

• מחקר על הטיות בתיאור פנים

  בדיקת האופן שבו מודלים כמו Qwen מתארים בני אדם ומאפיינים ויזואליים שונים.

איפה זה נופל

הטקסטים נוצרו באמצעות מודלי שפה אוטומטיים כמו Qwen, ולכן הם כוללים הזיות, הטיות ואי דיוקים מובנים בתיאור האנשים. הנתונים זמינים באנגלית בלבד ואין בהם עברית. בנוסף, התלות בקבלת אישור חיצוני לתמונות הופכת את השימוש למסורבל, והיוצרים מזהירים מפני תוכן לא בטוח או פגיעה בפרטיות.

איך טוענים

טוענים את קובצי הטקסט ישירות בעזרת הספרייה datasets של Hugging Face בשורת קוד אחת. הקובץ המרכזי מגיע בפורמט Parquet, אך הוא כולל בעיקר את התיאורים והמזהים. כדי להשיג את התמונות עצמן נדרש אישור גישה נפרד והסכם שימוש מול מאגר Laion-face דרך גיטהאב.

from datasets import load_dataset

ds = load_dataset("OpenFace-CQUPT/HumanCaption-10M")

הרישיון

המאגר מופץ ברישיון cc-by-4.0 שמתיר עקרונית שימוש מסחרי בכפוף למתן קרדיט, אך היוצרים מציינים בטקסט שהוא מיועד למטרות מחקר וחינוך בלבד. הסתירה הזו מחייבת בדיקה משפטית לפני שילוב שלו במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗