CogVLM-SFT-311K
קוד פתוחzai-orgcc-by-nc-4.02023-12-08
קורפוס כוונון עדין למודלי ראייה שפה באנגלית ובסינית, שנבנה לאימון הראשוני של CogVLM v1.0. הוא משלב שיחות ותיאורי תמונות שעברו ניקוי ותרגום מכונה מבוקר.
- 174הורדות בחודש
- 52לייקים
מה זה
המאגר מבוסס על שילוב של כ 3,500 דוגמאות איכותיות מ MiniGPT-4 יחד עם Llava-Instruct-150K. היוצרים זיהו רעש משמעותי בתיאורים המקוריים של שני המקורות, תרגמו אותם לסינית באמצעות מודל שפה, תיקנו את הטקסטים בסינית ותרגמו אותם בחזרה לאנגלית. התוצאה מחולקת לשלוש תיקיות עיקריות לפי אופי המשימה.
החלק הראשון כולל 22,464 תמונות עם תיאורים מפורטים, שנוצרו מהשילוב המנוקה של MiniGPT-4 ו LLaVA. החלק השני מכיל 56,673 תמונות לצד שיחות מרובות סבבים, והחלק השלישי מחזיק 76,634 תמונות עם שיחות בעלות סבב יחיד. המבנה הפנימי בכל תיקייה מפריד בין קובצי התמונה לקובצי הטקסט התואמים.
כל תמונה שמורה כקובץ jpg תחת תיקיית תמונות, ולצידה קובץ json באותו שם תחת תיקיית תוויות. עבור תיאורים, המבנה שומר אובייקט עם שדה captions המכיל תפקיד ותוכן, ועבור שיחות נשמר מבנה של דיאלוג סביב התמונה הנתונה.
מתאים ל
- אימון הוראות דו לשוני
כוונון מודלי ראייה שפה למענה על שאלות ושיחה סביב תמונות באנגלית ובסינית.
- תיאור תמונות מפורט
אימון מודלים על תיקיית התיאורים לקבלת פסקאות תיאור ארוכות ומדויקות.
- מחקר אקדמי השוואתי
בדיקת השפעת ניקוי ותרגום מכונה חוזר על ביצועי מודלי מולטימודל.
איפה זה נופל
הנתונים מוגבלים לחלוטין לאנגלית ולסינית, ואין כאן אף מילה בעברית. חלק ניכר מהטקסט נוצר או עבר תרגום באמצעות מודל שפה, מה שעלול להכניס שגיאות תרגום והזיות סינתטיות. היוצרים הודו שהמקורות סבלו מרעש כבד בתיאורים, ואף שתוקנו, התיקון נעשה בסינית ותרגום החזרה לאנגלית חשוף להטיות מודל. בנוסף, חלוקת הקבצים ליחידות json בדידות מחייבת עיבוד מקדים לפני אימון יעיל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 ואוסר פעילות מסחרית מכל סוג. היוצרים מציינים במפורש שאפילו הם לא שילבו את הנתונים בגרסאות מסחריות של CogVLM.
האם יש בדאטהסט תמיכה בעברית?
אין שום תמיכה בעברית. הטקסטים קיימים באנגלית ובסינית בלבד, לאחר שעברו תרגום ועיבוד בין שתי השפות האלו.
איך נאסף המידע?
היוצרים לקחו כ 3,500 דוגמאות מ MiniGPT-4 וחיברו אותן עם Llava-Instruct-150K. הם תרגמו את הטקסטים לסינית באמצעות מודל שפה, תיקנו את הרעש בגרסה הסינית, ותרגמו אותם שוב לאנגלית.
איך המידע מאורגן להורדה?
הנתונים מגיעים בקובץ zip אחד שמחולק לשלוש תיקיות לפי משימות. בתוך כל תיקייה יש תיקיית תמונות ותיקיית תוויות, כאשר לכל תמונה יש קובץ json נפרד בעל שם זהה.
איך טוענים
החומר יושב בקובץ דחוס יחיד בשם CogVLM-SFT-311K.zip, לצד קובצי תיעוד באנגלית ובסינית. אין כאן מנגנון של אישור גישה או שאלון, פשוט מורידים ומחלצים. המבנה דורש התאמה בקוד לקריאת קובצי json נפרדים לכל תמונה מתוך תיקיית התוויות, ולא קובץ jsonl מרכזי כמקובל. משקל הקובץ המדויק אינו מפורט בכרטיס, אך מדובר בלמעלה מ 150 אלף תמונות.
from datasets import load_dataset
ds = load_dataset("zai-org/CogVLM-SFT-311K")הרישיון
הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד ומחייב מתן קרדיט. היוצרים מדגישים שהוא כפוף גם לתנאי השימוש של OpenAI, ומציינים במפורש שהם עצמם נמנעו משימוש במידע הזה בגרסאות מסחריות של המודל שלהם. מודל שתאמנו על הדאטהסט הזה חסום לחלוטין לכל שימוש עסקי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא