ConsisID-preview-Data
קוד פתוחBestWishYshcc-by-4.02024-11-22
מאגר וידאו ממוקד פנים שנועד לאימון מודלים של יצירת וידאו מטקסט תוך שמירה על זהות הפנים. הוא מציע סרטונים יחד עם מסכות, תמונות פנים ותיבות תוחמות שמסונכרנות עם התיאורים.
- 511הורדות בחודש
- 29לייקים
מה זה
המאגר כולל סרטונים, חיתוכי פנים, מסיכות ותיבות תוחמות של פנים, לצד קובצי תיאור טקסטואליים באנגלית בפורמטים של JSON ו־CSV. מתוך המאגר, 31.9K תיאורים משויכים לסרטונים בעלי זהות בודדת, בעוד שאר הסרטונים כוללים מספר זהויות שונות. המידע מחולק לקובצי ארכיון של אימון והערכה.
היוצרים מבהירים כי מדובר בגרסת תצוגה מקדימה וכי הנתונים ששוחררו כאן אינם מהווים את המערך המלא ששימש לאימון המודל במאמר המקורי. הכרטיס אינו מפרט מהיכן נאספו הסרטונים במקור, אך הוא מפנה לקוד עיבוד מקדים ב־GitHub שמיועד לסימון מרובה פנים בנתוני וידאו דומים.
מתאים ל
- אימון text-to-video
אימון מודלים ליצירת וידאו מטקסט ששומרים על עקביות תווי הפנים של הדמות לאורך הפריימים.
- הערכת שימור זהות
מדידת ביצועים של מודלי וידאו מול תמונות פנים ותיבות תוחמות מוגדרות מראש מתוך תיקיית ההערכה.
- ניסויי התאמת פרומפטים
בדיקת השפעת תיאורים טקסטואליים מפורטים ועתירי פרטים על איכות יצירת הווידאו של דמויות.
איפה זה נופל
זהו מאגר חלקי ולא המאגר המלא מהמחקר. קוד האימון של הפרויקט תומך כרגע רק בזהות בודדת, כך שסרטונים עם מספר פנים ידרשו מכם התאמה עצמאית. התיאורים קיימים באנגלית בלבד ודורשים פירוט רב כדי להפיק תוצאות טובות, ואין מידע על מקור הסרטונים, גיל המצולמים, או הטיות דמוגרפיות.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המדווח הוא CC-BY-4.0 שמתיר שימוש מסחרי. החובה המרכזית שלכם היא מתן קרדיט מתאים ליוצרים לפי תנאי הרישיון.
האם המאגר כולל תמיכה בעברית?
לא. קובצי התיאור של הסרטונים כתובים כולם באנגלית בלבד. אם תרצו לאמן בעברית, תצטרכו לתרגם את הפרומפטים בעצמכם.
האם זהו הדאטהסט המלא ששימש לפיתוח ConsisID?
לא, היוצרים מציינים במפורש שמדובר בגרסת תצוגה מקדימה וכי הנתונים שהועלו אינם מהווים את המערך המלא של המודל. יש בו עשרות אלפי רשומות, מתוכן 31.9K תיאורים לסרטוני זהות בודדת.
איך מחברים את הקבצים אחרי ההורדה?
קובצי הווידאו והמסכות מגיעים מחולקים לחלקים עם סיומות part. יש להריץ פקודת שרשור בקונסולה כמו cat masks.tar.part* לקובץ tar אחיד, ורק לאחר מכן לחלץ את התוכן.
איך טוענים
אין צורך בבקשת גישה מיוחדת, ההורדה פתוחה לחלוטין. הנתונים שמורים כקובצי ארכיון tar שמחולקים לחלקים, למשל masks.tar.part או videos.tar.part, ולכן תצטרכו לאחד אותם ידנית באמצעות פקודת cat בטרמינל לפני החילוץ. הקבצים המרכזיים כוללים את video_caption_train.json לתיאורי האימון, bboxes עבור מיקומי הפנים, וארכיוני המסכות והווידאו.
from datasets import load_dataset
ds = load_dataset("BestWishYsh/ConsisID-preview-Data")הרישיון
הרישיון הוא CC-BY-4.0. הוא מאפשר שימוש חופשי, כולל שימוש מסחרי, שינוי והפצה, כל עוד אתם מעניקים קרדיט מתאים ליוצרים המקוריים ומציינים אם נעשו שינויים. הרישיון אינו מחייב שיתוף של מודלים מאומנים תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס