FaceID-6M
קוד פתוחSuper-shuhecc-by-nc-4.02025-03-22
שישה מיליון צמדי תמונה וטקסט שסוננו מתוך LAION כדי לאמן מודלים לשמירה על זהות פנים. הוא חוסך את העבודה הסיזיפית של איתור פנים איכותיות וחישוב נקודות ציון מראש.
- 2,665הורדות בחודש
- 17לייקים
מה זה
המאגר מבוסס על סינון מתוך LAION-5B, במטרה לבודד תמונות שמתאימות למשימות התאמת פנים ביצירת תמונה מטקסט. תהליך הסינון הוציא תמונות ללא פנים אנושיות, כאלה שיש בהן יותר משלושה פרצופים, תמונות ברזולוציה נמוכה, וכאלה שהפנים תופסות בהן פחות מ־4% מכלל שטח התמונה. בצד הטקסטואלי, נשמרו רק תיאורים שכללו מילות מפתח הקשורות לאנשים, כגון מגדר, לאום, מוצא אתני, מקצועות ושמות מוכרים.
בתוך הקבצים המכווצים תמצאו תמונות בפורמט PNG, תיקיית face ייעודית לחיתוכי הפנים, קובצי npy שמכילים נקודות ציון מחושבות מראש לצורכי אימון, וקובץ jsonl שמרכז את התיאורים הטקסטואליים. המפרסמים מציינים ששמות הנתיבים הרשומים בתוך ה־jsonl אינם תואמים לקבצים, ויש להשתמש במספר השורה כדי לאתר את התמונה, הפנים וקובץ ה־npy התואמים לה מתוך הסדרה.
מתאים ל
- אימון InstantID
אימון מודלים מותאמים אישית לשמירה על תווי פנים מדויקים ביצירת תמונות.
- מחקרי הגדלת דאטה
בדיקת השפעת היקף הנתונים על רמת הדמיון הוויזואלי של פנים במודלי דיפוזיה.
- הערכת עקביות פנים
שימוש בנקודות הציון המוכנות מראש להערכת דיוק מבנה הפנים במחקרים פנימיים.
איפה זה נופל
הסינון הטקסטואלי נשען על מילות מפתח ספציפיות באנגלית כמו שמות, לאומים ומקצועות, כך שאין כאן תמיכה בתיאורים בעברית או גיוון לשוני רחב. המקור הוא LAION-5B, מה שאומר שהנתונים סובלים מאותם פגמים של תמונות שנאספו מהרשת הפתוחה, כולל הטיות גיל, ייצוג יתר של מפורסמים ואיכות ויזואלית לא אחידה. מעבר לכך, התמונות נבדקו רק להימצאות עד שלושה פרצופים ושטח פנים של מעל 4%, כך שעדיין ייתכנו תמונות רקע מורכבות או תנאי תאורה בעייתיים שלא נופו בתהליך האוטומטי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, שאינו מתיר שום שימוש מסחרי. המאגר מתאים לפרויקטים מחקריים, ניסויים פנימיים ובדיקת היתכנות אקדמית בלבד.
כמה המאגר שוקל ואיך מורידים אותו?
המשקל המדויק הכולל אינו מפורט בכרטיס, אך מדובר בשישה מיליון תמונות המחולקות ל־338 קבצים דחוסים. יש להוריד את כל החלקים הממוספרים, לחבר אותם באמצעות פקודת cat בקונסול, ורק אז לחלץ את תוכן הארכיון.
האם התיאורים כוללים עברית?
לא. התיעוד מבוסס על סינון מילות מפתח מתוך LAION שכלל מושגים באנגלית בלבד עבור שמות, מקצועות ולאומים. אם אתם צריכים פרומפטים בעברית, תצטרכו לתרגם אותם בעצמכם.
מה ההבדל בין מאגר זה לגרסת ה־70K?
גרסת ה־70K היא תת-קבוצה קטנה ומסוננת יותר שכוללת רק תמונות שבהן גם הגובה וגם הרוחב הם לפחות 1024 פיקסלים. המאגר המלא מכיל שישה מיליון דוגמאות ברזולוציות מגוונות החל מסף הסינון הבסיסי של LAION-512.
איך טוענים
אין צורך באישור גישה כדי להוריד את הקבצים, אבל הטיפול בהם דורש עבודה ידנית ונפח אחסון משמעותי. המאגר מכיל 338 קבצים, והנתונים מחולקים למקטעים דחוסים בסגנון laion_512.tar.gz.000 עד 006. תצטרכו לאחד אותם לפקודת cat אחת ואז לפתוח את הארכיון באמצעות tar.
אחרי החילוץ, הקישור בין התיאורים לקבצים מתבצע לפי מספר השורה בקובץ ה־jsonl ולא לפי שדות פנימיים, כך ששורה אפס תואמת לקובץ 0.png, לקובץ 0.npy ולתמונת הפנים 0.png בתיקייה הנפרדת. אם אתם לא מאמנים מודלים מבוססי ארכיטקטורת InstantID, תוכלו למחוק או להתעלם מקובצי ה־npy כדי לחסוך מקום.
from datasets import load_dataset
ds = load_dataset("Super-shuhe/FaceID-6M")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה וחד משמעית, השימוש מותר למטרות מחקר ופיתוח לא מסחרי בלבד, תוך מתן קרדיט ליוצרים. אסור להשתמש בנתונים האלה למוצר מסחרי, ולא הייתי מאמן על המאגר הזה שום מודל שמיועד למכירה או להטמעה בשירות בתשלום, שכן מגבלת הרישיון חלה על השימוש בדאטהסט עצמו.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא