facesyntheticsspigacaptioned
קוד פתוחmultimodalartרישיון לא דווח2023-03-21
המאגר כולל תמונות פנים סינתטיות עם נקודות ציון של SPIGA ותיאורי תמונה שנוצרו במודל BLIP. הוא מתאים למי שמאמן מודלי ראייה ממוחשבת או שפה ותמונה וזקוק לנתוני פנים מפורטים בלי בעיות פרטיות.
- 2,516הורדות בחודש
- 34לייקים
מה זה
המאגר הזה הוא עיבוד ישיר של FaceSynthetics מבית מיקרוסופט, בגרסה שכללה נקודות ציון שחושבו מראש באמצעות SPIGA. היוצר לקח את הנתונים ממאגר המקור של pcuenq, העביר כל תמונה דרך מודל הראייה והשפה BLIP, והוסיף לכל רשומה תיאור טקסטואלי אוטומטי של הפנים שמופיעות בה.
מבחינת מבנה, כל רשומה מורכבת מתמונת הפנים הסינתטית, נקודות הציון המבניות שכבר חושבו עבורה, ושדה טקסט חדש שמכיל את התיאור שנוצר. הנתונים כולם יושבים תחת פיצול יחיד של אימון, בלי חלוקה מובנית לולידציה או בדיקה, כך שמי שרוצה להעריך ביצועים יצטרך לפצל אותם עצמאית בעבודה.
מקור התמונות הוא יצירה סינתטית לחלוטין ולא צילומים של אנשים אמיתיים. הכרטיס לא מדווח על תהליך סינון ידני או ניקוי שבוצע לאחר ההרצה של BLIP, כך שכל התמונות שהיו במאגר המקורי עברו את התיוג ונוספו למאגר החדש כמו שהן.
מתאים ל
- אימון מודלי טקסט לתמונה
חיבור התיאורים של BLIP לתמונות הפנים מאפשר לאמן מודלים שיוצרים פנים לפי הנחיות טקסטואליות.
- זיהוי נקודות ציון בפנים
אפשר להשתמש בסימוני SPIGA כדי לאמן או לבחון מודלים של ראייה ממוחשבת שמאתרים איברי פנים.
- מחקר על דאטה סינתטי
השוואת ביצועי מודלי תיוג על פנים סינתטיות מול פנים אמיתיות ללא חשש מבעיות של פרטיות משתמשים.
איפה זה נופל
החיסרון המרכזי כאן נובע מזה שמדובר בשרשור של שני מודלים אוטומטיים בלי עין אנושית שבדקה את התוצאות. תיאורי התמונות נוצרו במודל BLIP large, שעלול להזות פרטים, להשתמש באוצר מילים מוגבל או לפספס מאפיינים עדינים בפנים. הטקסט כולו באנגלית בלבד, ואין שום תמיכה בשפות אחרות. מעבר לזה, התמונות הן סינתטיות של מיקרוסופט, מה שאומר שהן לא בהכרח מייצגות את הגיוון, התאורה והפגמים שיש בצילומי פנים מהעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
המאגר פורסם ללא רישיון מוגדר, ולכן מבחינה משפטית אין אישור מפורש להשתמש בו לצרכים מסחריים. לפני שמכניסים אותו לפרויקט עסקי, חובה לבדוק את הרישיון של המאגר המקורי מבית מיקרוסופט שעליו הוא מבוסס. שימוש במאגר ללא רישיון מסודר עלול לחשוף את הפרויקט לסיכונים משפטיים.
האם יש במאגר תמיכה בשפה העברית?
אין במאגר עברית בכלל. שדה התיאור נוצר באמצעות מודל BLIP שמייצר טקסטים באנגלית בלבד. אם אתם צריכים הנחיות או תיאורים בעברית, תצטרכו לתרגם את השדה באופן עצמאי באמצעות כלי תרגום או מודל שפה חיצוני.
איך נאספו ונוצרו הנתונים במאגר הזה?
הבסיס הוא תמונות פנים סינתטיות שמיקרוסופט יצרה, ועליהן הולבשו חישובי נקודות ציון באמצעות אלגוריתם SPIGA. המשתמש multimodalart לקח את הנתונים המעובדים האלה, הריץ עליהם את מודל התיוג BLIP של Salesforce, והוסיף את פלט הטקסט לכל תמונה. כל התהליך נעשה בקוד אוטומטי וללא מעורבות של עריכה ידנית.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
המאגר מורכב משישים וחמישה קבצים, מתוכם שישים וארבעה קובצי parquet שמכילים את המידע ומחולקים לחלקים קטנים. אפשר לטעון אותו ישירות לפייתון בעזרת שורת קוד אחת של ספריית datasets. הגישה לקבצים פתוחה לכולם ואין צורך לקבל אישור גישה מראש כדי להתחיל להוריד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה אחת פשוטה. אין כאן תהליך אישור גישה מיוחד, המאגר פתוח להורדה מיידית. כל המידע מחולק לשישים וארבעה קובצי parquet שונים המכילים את נתוני האימון. השדות המרכזיים שצריך לעבוד איתם הם שדה התמונה, נתוני נקודות הציון של הפנים ושדה הטקסט החדש שנשמר תחת image_caption. בגלל כמות הקבצים והמידע הגרפי, כדאי לוודא שיש מספיק מקום פנוי בדיסק לפני שמושכים את כל החלקים יחד.
from datasets import load_dataset
ds = load_dataset("multimodalart/facesyntheticsspigacaptioned")הרישיון
היוצר לא הגדיר רישיון למאגר הזה. המשמעות בפועל היא שאין היתר ברור לשימוש מסחרי, ואי אפשר לדעת מראש אילו הגבלות חלות על מודל שתאמנו על בסיסו. מי ששוקל להשתמש בנתונים האלה למוצר מסחרי צריך לבדוק קודם את תנאי השימוש המקוריים של FaceSynthetics של מיקרוסופט ולוודא שהיעדר הרישיון כאן לא חושף אותו לבעיות משפטיות.