JoyAI-VL-Interaction

מה זה

המאגר מיועד לאימון מודלים של וידאו וטקסט שמנתחים הזרמת וידאו רציפה. הוא כולל מעל ארבעה מיליון רשומות שמחברות בין וידאו לשיחה, כשהמיקוד אינו תיאור תמונה רגיל אלא אינטראקציה חיה בזמן אמת. הדוגמאות בנויות כך שהמודל לומד לזהות מתי לפתוח בדיבור יזום, מתי לנצור את הלשון ולשמור על שקט, ומתי להעביר את הפעולה לעיבוד רקע.

התוכן עצמו מחולק במאגר לשני סוגי קבצים עיקריים. יש קובץ ייעודי בשם background.json שמטפל בפעולות רקע, לצד שישה קובצי צ'אט שמחולקים למקטעים ממוספרים, chat_shard_01 עד chat_shard_06. מעבר למבנה הקבצים הזה, הכרטיס לא מפרט מאיזה מקורות צולמו הסרטונים, איך נאספו השיחות בפועל או אילו מנגנוני סינון הופעלו על הנתונים.

מתאים ל

• אימון סוכני וידאו חי

  לימוד מודלים מתי להתערב בשיחה ולדבר בעקבות אירועים חזותיים בשידור וידאו רציף.

• זיהוי רגעי שתיקה

  אימון מודל להימנע מהפרעה למשתמש ולשמור על שקט כל עוד הווידאו לא דורש תגובה.

• האצלת משימות ברקע

  הכוונת מודל מולטימדיה להעביר שאילתות ועיבוד כבד לסוכן רקע מתוך קובץ הייעודי.

איפה זה נופל

הכרטיס קצר באופן מתסכל ולא מדווח דבר על שפות הטקסט, מקור הווידאו או גיל החומרים. אין תיעוד להטיות שנבדקו, וכדי לבנות מוצר בעברית תצטרכו לבדוק בעצמכם אם יש בכלל תמיכה כזו או שמדובר באנגלית ובסינית בלבד. בנוסף, חסר פירוט על האופן שבו הסרטונים מקושרים לרשומות הטקסט.

איך טוענים

הנתונים מגיעים בקובצי JSON מחולקים, ללא צורך בהרשאה מיוחדת או באישור גישה מוקדם. יש 11 קבצים במאגר, ביניהם קובץ רקע ושישה חלקי צ'אט נפרדים שמכילים יחד מיליוני דוגמאות. בגלל שמדובר בארבעה מיליון רשומות של אינטראקציית וידאו וטקסט, אתם צריכים לקחת בחשבון פריקה וטעינה של קבצים כבדים וניתוח של שדות סנכרון הזמן מול הזרמת הווידאו.

from datasets import load_dataset

ds = load_dataset("jdopensource/JoyAI-VL-Interaction")

הרישיון

המאגר שוחרר ברישיון apache-2.0. הרישיון חופשי ומתיר שימוש מסחרי, שינוי והפצה, בלי דרישה לשתף את העבודות הנגזרות תחת אותו רישיון. החובה היחידה שלכם היא לתת ייחוס מתאים למפתחים ולצרף עותק של הרישיון המקורי בכל הפצה או שילוב שלו במודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗