VLFeedback
קוד פתוחMMInstructionרישיון לא דווח2023-11-08
מאגר העדפות מולטימודלי עם כ־80 אלף הוראות ויזואליות שתוכננו לכוונון מודלי שפה ותמונה. הוא מתאים למי שרוצה לאמן מודלי תגמול או לבצע DPO ישירות על השוואות בין תשובות של מודלים שונים.
- 1,492הורדות בחודש
- 51לייקים
מה זה
המאגר מכיל כ־80 אלף הוראות מולטימודליות שנאספו ממקורות מגוונים, במטרה לכסות יכולות שונות של מודלי שפה ותמונה גדולים. עבור כל דוגמה במאגר, החוקרים יצרו ארבע תשובות נפרדות שנלקחו מתוך מאגר של 12 מודלי תמונה-טקסט שונים, וכך יצרו גיוון בסגנונות ובאיכות הפלטים.
ההערכות עצמן לא בוצעו בידי בני אדם אלא סונתזו באמצעות GPT-4V. כל אחת מהתשובות קיבלה ציונים בשלושה היבטים ברורים: מידת התועלת, נאמנות ויזואלית לפרטי התמונה, ושיקולים אתיים. מתוך השילובים הללו נוצרו יותר מ־380 אלף זוגות השוואה שמאפשרים לבחון איזו תשובה עדיפה על פני האחרת.
מתאים ל
- אימון מודלי DPO לתמונה
כוונון ישיר של מודלי ראייה-שפה בעזרת 380 אלף זוגות השוואה מוכנים.
- בניית מודל תגמול ויזואלי
אימון מודל שמעריך איכות ונאמנות של תשובות על בסיס ציוני העזר.
- בנצ'מרק להערכת מודלים
בדיקת איכות התשובות של מודלי ראייה מול 12 המודלים שנכללו בפול.
איפה זה נופל
כל התיוגים והציונים מבוססים על שיפוט של GPT-4V בלבד, מה שמכניס הטיות מובנות של המודל הספציפי הזה אל תוך נתוני ההעדפה. בנוסף, הכרטיס אינו מפרט חלוקה לשפות נוספות מעבר לאנגלית, כך שלאימון מודלים בעברית או בהקשר ישראלי המאגר מוגבל מאוד. חסר גם פירוט על סינון תוכן רעיל מעבר לציון האתי של המודל השופט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
לא, כיוון שלא דווח שום רישיון שימוש רשמי. בנוסף לכך, הנתונים תויגו בעזרת GPT-4V, מה שיוצר לעיתים קרובות מגבלות שימוש נוספות מצד חברת OpenAI על פיתוח מודלים מתחרים.
האם המאגר כולל תמיכה בשפה העברית?
לא. המאגר מתמקד בהוראות באנגלית שנאספו ממקורות קיימים ברשת. לא הייתי בונה עליו לאימון מודלים שאמורים לפעול היטב בעברית ללא דאטה מתאים נוסף.
מאיפה הגיעו התיוגים והציונים של התשובות?
התיוגים לא נוצרו על ידי בודקים אנושיים אלא הופקו במלואם על ידי GPT-4V. הוא דירג את התשובות לפי שלושה קריטריונים של תועלת, אמינות ויזואלית ומוסר, ומשם נגזרו זוגות ההעדפה.
איך טוענים
הנתונים מחולקים לתשעה קובצי Parquet שונים בתיקיית המידע ומיועדים לטעינה ישירה, למשל באמצעות ספריית datasets הרגילה. המאגר ציבורי לחלוטין ואינו דורש בקשת גישה או אישור מיוחד כדי להוריד את הקבצים. לפני שרצים לאמן עליהם, כדאי לשים לב למבנה הרשומות שכולל את התשובות השונות ואת התיוגים המשולשים של המודל השופט, כדי לחלץ נכון את הזוג המנצח והמפסיד לכל משימה.
from datasets import load_dataset
ds = load_dataset("MMInstruction/VLFeedback")הרישיון
היוצרים לא הגדירו רישיון שימוש בעמוד המאגר. מבחינה מעשית ומבחינת פיתוח מוצר, זה אומר שאין לכם שום הרשאה משפטית ברורה להשתמש בנתונים האלה, בטח שלא לאימון מודלים מסחריים. שימוש במידע כזה מתאים כרגע רק למחקר אקדמי עצמאי ובסיכון מסוים.