SPA-VL
קוד פתוחsqrticc-by-4.02024-06-06
מעל מאה אלף רביעיות של תמונה, שאלה ותשובות מתחרות לאימון בטיחות של מודלי שפה ותמונה. המטרה היא ללמד את המודל לסרב לבקשות מסוכנות בלי לאבד את היכולת לעזור.
- 1,398הורדות בחודש
- 20לייקים
מה זה
כל רשומה מכילה תמונה, שאלה שנשאלה עליה, תשובה שנבחרה כבטוחה ומועילה, ותשובה שנדחתה כי הייתה מזיקה. המאגר מקיף שישה תחומי סיכון, 13 קטגוריות ו־53 תת קטגוריות. התמונות נשלפו מתוך LAION-5B באמצעות חיפוש מבוסס CLIP עם מילות מפתח מוגדרות, והשאלות נוצרו על ידי מודלים כמו Gemini 1.0 Pro Vision.
התשובות נוצרו על ידי 12 מודלי ראייה-שפה שונים, בהם LLaVA, QwenVL ו־Gemini. הבחירה בין התשובות בוצעה באמצעות שילוב של סיווג עם MD-Judge והכרעות של GPT-4V. סט האימון כולל 93,258 דוגמאות, סט הוולידציה מכיל 7,000 דוגמאות הכוללות גם תיוג היררכי של סוג הנזק, ובנוסף קיימים סטים ייעודיים לבדיקת בטיחות ותועלת עם 265 דוגמאות בכל אחד.
מתאים ל
- אימון בטיחות במודלי ראייה
הרצת DPO או PPO על מודלי תמונה-טקסט כדי להרגיל אותם לא לספק הדרכה מזיקה על בסיס תמונות.
- הערכת עמידות של מודלים
מדידת ביצועים מול סטי EvalHarm ו־EvalHelp כדי לראות אם המודל מסרב למסוכן אך ממשיך לענות על שאלות לגיטימיות.
- ניתוח התנהגות מודלים קיימים
שימוש בקובצי התשובות מ־12 המודלים השונים כדי ללמוד היכן ארכיטקטורות קיימות נוטות להיכשל בבטיחות.
איפה זה נופל
כל הטקסטים במאגר באנגלית בלבד, ואין בו שום תוכן בעברית או התייחסות להקשרים מקומיים. התמונות מגיעות מ־LAION-5B, כך שהן נושאות את ההטיות של סריקות רשת רחבות, למרות שהמפרסמים מציינים שסיננו ידנית תוכן אלים ובוטה במיוחד. מעבר לכך, רוב המידע נוצר וסווג על ידי מודלים כמו Gemini ו־GPT-4V ולא בידי אדם, מה שאומר שהעדפות הבטיחות משקפות את חוקי הצנזורה וההטיות של אותן חברות מסחריות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא CC BY 4.0 שמתיר שימוש מסחרי מלא. התנאי המרכזי הוא מתן קרדיט ברור למחברי המאגר. כדאי לזכור שחלק מנתוני ההעדפה נוצרו על ידי מודלים מסחריים כמו GPT-4V, מה שעשוי להיות כפוף לתנאי השימוש של הספקיות.
האם הדאטהסט כולל שאלות או תמונות בעברית?
לא, המאגר מוגדר ומתועד באנגלית בלבד. אם המטרה היא לאמן או לבדוק מודל בעברית, תצטרכו לתרגם את השאלות והתשובות באופן עצמאי. גם במקרה כזה, ההקשר הוויזואלי נשאר מערבי וכללי מתוך LAION.
איך נאספו התמונות וההעדפות בתוך המאגר?
התמונות נשלפו מ־LAION-5B לפי 53 תת-קטגוריות מוגדרות של תוכן מסוכן. השאלות נוצרו בעזרת מודל Gemini, והתשובות הופקו מ־12 מודלי שפה-ראייה שונים. הדירוג בין תשובה מועדפת לדחויה נקבע בעזרת GPT-4V ומסווג הבטיחות MD-Judge.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה datasets של Hugging Face עם המזהה sqrti/SPA-VL, ללא צורך בהרשאה מיוחדת. הנתונים מאוחסנים בשמונה קובצי Parquet לחלק האימון. השדות המרכזיים ב־train הם image, question, chosen ו־rejected. הקבצים מכילים את התמונות עצמן בתוך הרשומות, כך שההורדה דורשת רוחב פס וזיכרון מתאימים לטעינה מקומית. למי שרוצה את קובצי המקור ונתוני המטא של התיוגים, המפרסמים מציעים גם הורדת ארכיון zip ישיר ממאגר הגיטהאב שלהם.
from datasets import load_dataset
ds = load_dataset("sqrti/SPA-VL")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף של מודל מאומן תחת אותו רישיון. החובה היחידה היא לתת קרדיט נאות ליוצרים ולציין אם נעשו שינויים בנתונים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס