InternVL-Chat-V1-2-SFT-Data
קוד פתוחOpenGVLabapache-2.02024-08-08
אוסף של כמיליון ומאתיים אלף דוגמאות אימון ויזואליות שנועד לכוונן מודלי שיחה רב-מודאליים. הוא מאחד מקורות קוד פתוח מובילים כדי לחזק הבנת תרשימים, מסמכים ותמונות כלליות.
- 578הורדות בחודש
- 29לייקים
מה זה
המאגר הזה מרכז כ־1.2 מיליון דוגמאות של הוראות ויזואליות שנועדו לשלב ה־SFT של מודלים רב-מודאליים. הבסיס נשען על ShareGPT-4V ומשמר התאמה רחבה לגישת LLaVA-NeXT, כשהמטרה היא יעילות נתונים במקום איסוף עיוור של כמויות ענק.
בפנים תמצאו פיצול לפי משימות ומקורות ספציפיים שמוגשים בקבצי zip נפרדים. יש כאן שילוב ממוקד של נתונים טכניים ומסמכים כמו DocVQA, ChartQA, DVQA ו־SynthDoG-EN, לצד הבנה מדעית וגיאומטרית מתוך AI2D ו־GeoQA+, תמונות כלליות מ־COCO ו־GQA, והרחבה לסינית באמצעות LLaVA-ZH. הכרטיס לא מפרט תהליכי סינון ידניים נוספים מעבר להסתמכות על המקורות הפתוחים הללו.
מתאים ל
- אימון מודל שיחה רב-מודאלי
כוונון עדין של מודלי שפה ותמונה לביצוע מענה על שאלות מורכבות סביב תמונות.
- הבנת מסמכים וגרפים
אימון רכיבי ראייה לפענוח תרשימים, דוחות וקובצי PDF באמצעות נתוני DocVQA ו־ChartQA.
- הערכת ביצועי ראייה
שימוש בתתי-האוספים כמבחן ייחוס לבדיקת דיוק המודל בשאלות מדעיות ותרשימים.
איפה זה נופל
אם אתם בונים מוצר לשוק המקומי, קחו בחשבון שאין פה עברית בכלל. השפות היחידות שנתמכות ומופיעות בנתונים הן אנגלית וסינית.
מעבר למחסום השפה, המאגר הוא הדבקה של מקורות שונים שמסתמכים בחלקם על דאטה סינתטי כמו SynthDoG או תיוגים אוטומטיים של מודלים אחרים. הכרטיס לא חושף בדיקות איכות או ניקוי הטיות שנעשו על התוכן, כך ששגיאות זיהוי ותרשימים שגויים מהמקורות המקוריים עדיין יחלחלו למודל שתאמנו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט כדי לאמן מודל מסחרי?
כן, המאגר מוגדר תחת רישיון apache-2.0 שמתיר שימוש מסחרי מלא. אתם נדרשים לשמור על תנאי הייחוס של הרישיון, אך אין מניעה למכור גישה למודל שאומן על גבי הנתונים האלה.
האם יש במאגר תמיכה בעברית?
לא, הנתונים כוללים אך ורק אנגלית וסינית. כדי לעבוד בעברית תצטרכו לתרגם את השאלות והתשובות או להוסיף דאטהסט משלכם לאימון.
איך הנתונים נאספו והורכבו למאגר הזה?
היוצרים אספו ושילבו מקורות פתוחים קיימים, בהם ShareGPT-4V, LLaVA-ZH, ומאגרי שאלות-תשובות ייעודיים כמו DocVQA ו־ChartQA. מדובר באיגום של כ־1.2 מיליון דוגמאות מוכנות שנשענות על האסטרטגיה של LLaVA-NeXT.
באיזה פורמט הקבצים מגיעים ואיך מורידים אותם?
המאגר אינו קובץ יחיד אלא מחולק ל־27 קבצים, רובם קובצי zip נפרדים לפי נושאים כמו ai2d.zip או dvqa.zip. תצטרכו להוריד אותם ישירות מ־Hugging Face ולחלץ את התמונות והטקסטים לפני השימוש.
איך טוענים
הנתונים מחולקים ל־27 קבצים במאגר, בעיקר ארכיוני zip נפרדים לכל מקור כמו chartqa.zip או docvqa.zip, לצד קובץ README. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותם.
לפני שאתם רצים לטעון אותם בסקריפט האימון, תצטרכו להוריד ולפתוח את הארכיונים הרלוונטיים למשימה שלכם ולסדר את נתיבי התמונות מול קובצי ההוראות, שכן המבנה מחולק לפי תתי-מאגרים ולא כקובץ בודד ומוכן להרצה עיוורת.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/InternVL-Chat-V1-2-SFT-Data")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. הרישיון דורש מתן קרדיט ושמירה על הודעת הרישיון המקורית, אך הוא אינו מחייב אתכם לשחרר את המודל המאומן או את הפיתוחים שלכם תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים