llava-plus-data
קוד פתוחLLaVA-VLcc-by-nc-4.02023-11-09
המאגר מרכז הוראות חזותיות שנוצרו בידי מודלי שפה כדי ללמד מודלים רב-מודאליים להפעיל כלים חיצוניים. הוא מיועד למי שבונה סוכנים חכמים וצריך מענה לשאלות על תמונות יחד עם שימוש בכלים.
- 41הורדות בחודש
- 36לייקים
מה זה
הנתונים נאספו בספטמבר 2023 באמצעות פניות יזומות ל־ChatGPT ול־API של מודל GPT-4-0314. המטרה היתה ליצור דוגמאות שמשלבות יכולות ראייה ממוחשבת ושפה לצד הפעלת כלים, כדי לקרב סוכנים רב-מודאליים לרמה של GPT-4. הכרטיס לא מפרט אילו תמונות צורפו בפועל או אם בוצע סינון ידני של התוכן, אלא מדגיש שמדובר בדאטה סינתטי שנוצר ישירות מפרומפטים מול ה־API של OpenAI.
במאגר יש ארבעה קבצים, והבולטים שבהם מכילים את קובצי הנתונים בפורמט טקסט. קובץ אחד נקרא llava-plus-v1-117k-tool-merge.json וכולל 117 אלף דוגמאות ממוזגות עם כלים, ולצידו קיים קובץ בשם llava-150k-tool-aug.json שמבוסס על הרחבה של דאטה קודם. בסך הכל היקף הרשומות נמצא בטווח שבין מאה אלף למיליון דוגמאות, כולן מיועדות למשימות מענה על שאלות חזותיות ודיאלוג מבוסס תמונה.
מתאים ל
- אימון סוכנים חזותיים
לימוד מודלים רב-מודאליים לפענח תמונה ולבחור בכלי המתאים כדי לענות על שאלה.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של נתוני אימון שנוצרו על ידי GPT-4 על ביצועי מודלי קוד פתוח.
- מענה חזותי על שאלות
הערכה ופיתוח יכולות של צ'אטבוטים סביב ניתוח פרטים מורכבים בתוך תמונות.
איפה זה נופל
הדאטה מבוסס כולו על אנגלית, כך שאין כאן שום תמיכה בעברית או בשפות אחרות. הנתונים נוצרו בספטמבר 2023 על ידי גרסת מודל ישנה יחסית, GPT-4-0314, מה שאומר שהזיות, שגיאות לוגיות ומגבלות של אותו מודל חילחלו ישירות פנימה ללא עריכה אנושית מתועדת. נוסף לכך, הכרטיס לא מספק נתונים על מקור התמונות, רגישות המידע שבהן או הטיות תרבותיות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
לא, הרישיון שהוגדר הוא cc-by-nc-4.0 שמונע כל שימוש מסחרי. מעבר לזה, המאגר נוצר באמצעות פניות למודלים של OpenAI וחלים עליו תנאי השימוש שלהם. הוא מיועד למחקר ולחובבים בלבד.
האם יש בדאטהסט תמיכה בעברית?
לא, השפה היחידה שמופיעה בתיעוד היא אנגלית. כל השאלות, התשובות וקריאות הכלים נכתבו באנגלית בלבד. אם המטרה היא סוכן בעברית, תצטרכו לתרגם את המאגר או להשתמש במקור אחר.
איך הנתונים נוצרו ונאספו?
היוצרים פנו למודלים ChatGPT ו־GPT-4-0314 בספטמבר 2023 כדי לייצר שיחות והפעלת כלים סביב תמונות. הקבצים המרכזיים כוללים 117 אלף ו־150 אלף דוגמאות סינתטיות שנבנו לצורך פרויקט LLaVA-Plus.
באיזה פורמט המידע שמור ומה הוא כולל?
הדאטה מגיע בקובצי JSON עם שדות טקסט שמגדירים את השיחה ואת הכלים שהופעלו. קובצי התמונות המקוריים עצמם אינם חלק מקובצי ה־JSON, ויש לברר את מקורם דרך מאגר הקוד של הפרויקט.
איך טוענים
הנתונים יושבים בקובצי JSON ישירים במאגר, ללא צורך בהרשאת גישה מיוחדת או באישור של היוצרים. כדי לעבוד איתם מורידים את הקבצים llava-plus-v1-117k-tool-merge.json או llava-150k-tool-aug.json וקוראים את המבנה ישירות בפייתון או דרך ספריית הדאטהסטים. שימו לב שהכרטיס לא כולל את התמונות הגולמיות עצמן בתוך הקבצים, ולכן תצטרכו לוודא מראש מהיכן מושכים את התמונות המקושרות לנתיבים שמצוינים במבנה הפנימי.
from datasets import load_dataset
ds = load_dataset("LLaVA-VL/llava-plus-data")הרישיון
הרישיון הוא cc-by-nc-4.0 שמחייב מתן קרדיט ואוסר שימוש מסחרי מכל סוג. אסור להכניס את הנתונים לאימון של מוצר מסחרי, לחבר אותם לשירות בתשלום או למכור מודל שאומן עליהם. בנוסף, מאחר שהדאטה נוצר ב־API של OpenAI, השימוש בו כפוף לתנאי השימוש שלהם.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא