LLaVAR
קוד פתוחSALT-NLPcc-by-nc-4.02023-07-06
המאגר מרחיב את LLaVA לתמונות עמוסות טקסט שדורשות קריאה והבנה ויזואלית. תרצו אותו אם המודל שלכם מתקשה לפענח שלטים, מסמכים או גרפיקה כתובה.
- 365הורדות בחודש
- 22לייקים
מה זה
הנתונים מתבססים על תמונות מתוך LAION שנבחרו בגלל נוכחות של טקסט לפי תוצאות OCR. שלב האימון המקדים מכיל 422 אלף רשומות, ואילו שלב הכוונון העדין כולל קובצי הוראות שנוצרו בשיחה מול GPT-4 נטול יכולת ראייה, על בסיס הטקסט שחולץ מהתמונות.
היוצרים מספקים שתי גרסאות לכוונון, אחת של 16 אלף דוגמאות ששימשה למאמר עצמו, וגרסה מורחבת של 20 אלף. קובצי ההוראות האלה כבר ממוזגים עם הדאטה המקורי של LLaVA, כך שמי שרוצה רק את התוספת החדשה צריך לסנן ידנית את מה שהיה במאגר הבסיס.
מתאים ל
- אימון הבנת טקסט בתמונות
הרחבת מודלי ראייה כך שיידעו לענות על שאלות לגבי מסמכים, שלטים וכרזות.
- כוונון עדין למענה על שאלות
שימוש בסט ההוראות כדי ללמד מודל רב-מודאלי לנהל שיחה על פרטים כתובים.
- בדיקת יכולות קריאה בסיסיות
הרצת סט 50 התמונות כבדיקה ראשונית להבנת טקסט ויזואלי מול GPT-4.
איפה זה נופל
החומר כולו באנגלית ואין פה נתונים בעברית בכלל. בנוסף, כל שיחות ההדרכה נוצרו על ידי GPT-4 טקסטואלי שהסתמך על OCR בלבד ולא ראה את התמונות בעצמו, מה שמכניס טעויות זיהוי ישירות לתוך התשובות. סט ההערכה שמצורף זעיר וכולל 50 תמונות בלבד, כך שהוא לא מספיק למבחן יסודי של מודל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 ומגביל לשימוש לא מסחרי בלבד. מודל שתאמנו על הנתונים האלה לא יוכל להימכר או לשרת מוצר בתשלום. הוא מיועד למחקר ולניסויים בלבד.
האם יש בדאטהסט תמיכה בעברית?
המאגר מוגדר לשפה האנגלית בלבד, וכל השיחות נוצרו באנגלית. התמונות מגיעות מ־LAION ולכן ייתכן שמופיע טקסט אקראי בשפות אחרות ברקע, אבל אין כאן נתונים מכוונים בעברית. לא הייתי בונה עליו לפרויקט מקומי בלי איסוף דאטה ייעודי.
איך נאספו ונוצרו נתוני השיחה?
החוקרים סיננו תמונות מתוך LAION לפי תוצאות OCR כדי למצוא תמונות עמוסות טקסט. את שאלות ההדרכה והתשובות ייצר GPT-4 טקסטואלי שקיבל רק את הטקסט שחולץ ולא צפה בתמונה עצמה. התהליך הזה יצר 422 אלף דוגמאות לאימון מקדים ועוד 16 עד 20 אלף לכוונון.
במה הוא שונה מ־LLaVA המקורי?
המאגר המקורי של LLaVA התמקד בתמונות כלליות ותיאורים ויזואליים סטנדרטיים, ולעיתים קרובות התעלם מטקסט שמופיע בפועל בתוך הפריים. כאן כל המטרה היא להוסיף שכבה של קריאת טקסט וניתוח שלו לצד ההבנה הראייתית. קובצי הכוונון כאן כבר משלבים את הנתונים המקוריים יחד עם התוספת הייעודית.
איך טוענים
ההורדה כוללת קובצי ZIP של תמונות כמו finetune.zip וקבצי JSON של שיחות. אין צורך באישור גישה מיוחד, אבל צריך לפרוק את התמונות לתיקיות הנכונות של LLaVA לפני שמתחילים להריץ. המבנה מבוסס על שדות שיחה והפניות לקובצי תמונה, כך שאם אתם עובדים עם קוד קיים תצטרכו לוודא שהנתיבים תואמים בדיוק.
from datasets import load_dataset
ds = load_dataset("SALT-NLP/LLaVAR")הרישיון
הרישיון הוא cc-by-nc-4.0, מה שאוסר שימוש מסחרי מכל סוג. מותר לחקור, לשנות ולשתף, אבל אי אפשר לשלב אותו במוצר שמייצר הכנסה או לאמן עליו מודל שיוצע כשירות בתשלום. בנוסף, חובה לתת ייחוס ליוצרים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא