vision-flan_191-task_1k
קוד פתוחVision-Flanרישיון לא דווח2023-09-20
המאגר מרכז 191 משימות שונות של מענה על שאלות חזותיות עם תיוג אנושי. הוא מיועד למי שמפתח מודלי שפה ותמונה וצריך כוונון עדין לפי הוראות מגוונות.
- 2,565הורדות בחודש
- 22לייקים
מה זה
המאגר כולל 191 משימות שונות בתחום הראייה והשפה, כאשר לכל משימה נאספו בדיוק 1,000 דוגמאות. סך הכל מדובר ביותר מ־100 אלף רשומות שמיועדות לכוונון מודלים לפי הוראות חזותיות, והן מבוססות על תיוג אנושי. המבנה מחולק באופן שווה בין המשימות כדי לאזן את החשיפה של המודל לסוגי פניות שונים.
התוכן עצמו מגיע מאוסף של מקורות חיצוניים שפותחו במסגרת פרויקטים כמו MultiInstruct. הכרטיס לא מפרט אילו שיטות סינון או ניקוי הופעלו על הדוגמאות מעבר לתיוג האנושי, והוא מפנה לעמוד חיצוני כדי לראות את רשימת המקורות המלאה של הדאטהסטים המרכיבים את המשימות.
מתאים ל
- אימון הוראות חזותי
כוונון מודלי שפה וראייה גדולים לעבודה מול מגוון רחב של הוראות ושאלות על גבי תמונות באנגלית.
- הערכת ביצועי אפס צעדים
בדיקת יכולת ההכללה של מודלים מול משימות חזותיות שלא נראו באימון, בהתבסס על מחקר MultiInstruct.
- בדיקת עמידות מודלים
השוואת ביצועים על פני 191 סוגי משימות שונים כדי לזהות נקודות תורפה בהבנת הנחיות.
איפה זה נופל
הנתונים כולם באנגלית ואין כאן עברית כלל. מעבר לציון העובדה שהתיוג אנושי, הכרטיס אינו חושף מי תייג, אילו הטיות קיימות בנתונים ומה גיל המקורות. בנוסף, מדובר באוסף שמורכב מדאטהסטים קודמים שונים, ולכן האיכות והסגנון עלולים להשתנות בין משימה למשימה בלי אחידות מלאה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
אין לכך תשובה חד משמעית בכרטיס כי לא הוגדר רישיון אחיד. היוצרים דורשים לבדוק בעמוד חיצוני את הרישיון המקורי של כל אחד מ־191 הדאטהסטים שמהם המשימות נלקחו. לשימוש מסחרי מדובר בסיכון משפטי שמחייב בדיקה פרטנית.
האם יש כאן תמיכה בעברית?
לא. כל הנתונים, ההוראות והשאלות במאגר מוגדרים באנגלית בלבד. אם המטרה היא לאמן מודל שיבין עברית וינתח תמונות, תצטרכו לתרגם את הנתונים או להשתמש במקור אחר.
איך הנתונים מאורגנים להורדה?
המאגר כולל חמישה קבצים בלבד. התמונות מגיעות בקובץ זיפ אחד, והתיוגים נמצאים בקובץ JSON נפרד לצד קובץ מטא-דאטה. אין חלוקה מובנית בחבילת datasets של פייתון, וצריך לפרוס את הקבצים ידנית בקוד.
איך טוענים
אין כאן סקריפט טעינה מובנה או דרישה לאישור גישה מקדים. המאגר מכיל חמישה קבצים, והמידע עצמו מחולק לקובץ תמונות מכווץ בשם image_191-task_1k.zip וקובץ תיוגים בשם annotation_191-task_1k.json. לצדם תמצאו את metadata.json. תצטרכו להוריד את הארכיון, לפרוס את התמונות מקומית ולקשר בינן לבין ההוראות והשאלות שנמצאות בקובץ ה־JSON.
from datasets import load_dataset
ds = load_dataset("Vision-Flan/vision-flan_191-task_1k")הרישיון
היוצרים לא הגדירו רישיון אחיד במאגר. במקום זה הם מפנים לעמוד חיצוני כדי לבדוק את הרישיון המקורי של כל אחד מ־191 המקורות. אם אתם בונים מודל מסחרי או מתכננים שחרור פתוח, אסור להניח שמותר להשתמש בזה בלי לעבור משימה משימה ולבדוק את הזכויות של הדאטהסט שממנו היא הגיעה.