AS-V2

מה זה

הנתונים כאן מחולקים לקבצי JSON לפי שלבי אימון שונים של פרויקט All-Seeing V2. שלב ראשון כולל קובץ של 665 אלף הוראות מותאמות מפורמט LLaVA 1.5, ושלב שני מחולק לקובץ קדם אימון של עשרה מיליון דוגמאות מסוננות מתוך AS-1B לצד קובץ מעורב של ארבעה מיליון דוגמאות לכוונון הוראות.

חוץ מקבצי הענק, המאגר מציג סטים קטנים וממוקדים של שיחות (22 אלף רשומות), תיאורים מפורטים (42 אלף רשומות) ותיוגי אזורים בתמונה. החוקרים סיפקו את הנתונים האלה בשתי גרסאות: אחת שבה תיבות התחימה (bounding boxes) עברו עיבוד מקדים להתאמה לריבוע, ואחת בלי הריפוד הזה, כך שתוכלו לבחור מה מתאים לפייפליין שלכם.

מתאים ל

• קדם אימון למודלי שפה וראייה

  הרצה על עשרה מיליון הדוגמאות מתוך קובץ האימון המקדים לבניית הבנה בסיסית של תמונות ויחסים.

• כוונון הוראות מולטימודלי

  שימוש בארבעת מיליון הדוגמאות או בסט LLaVA כדי ללמד מודל לענות על שאלות חופשיות לגבי תמונות.

• איתור ותיאור אזורים בתמונה

  אימון על משימות שיחה ותיאור מפורט שכוללות תיבות תחימה מדויקות, עם או בלי ריפוד ריבועי.

איפה זה נופל

הכרטיס לא מספק מידע על מקור התמונות עצמן, כיצד בוצע הסינון של עשרת המיליונים מתוך AS-1B, או אילו שפות נכללות מלבד אנגלית. כמו כן, לא מפורט היכן יושבים קובצי התמונות בפועל והאם הם כלולים במאגר או דורשים הורדה נפרדת. אם אתם בונים על עברית, סביר מאוד להניח שהיא לא קיימת כאן, ותצטרכו לבדוק ידנית את איכות התיוגים המרחביים לפני שילוב במודל סופי.

אותה משפחה

AS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה מ־Hugging Face. כל הנתונים מגיעים בקובצי JSON ענקיים, כמו as_pretrain_10m.json ו־as_mix_4m.json, לצד קבצים ייעודיים לשיחות ותיאורים. לפני שרצים לאמן, שימו לב באיזו גרסת קואורדינטות אתם משתמשים, הקבצים שמסתיימים ב־wo_square_pad מכילים תיבות תחימה מקוריות ללא ריפוד, בעוד הקבצים הרגילים כבר מותאמים לתמונות מרובעות.

from datasets import load_dataset

ds = load_dataset("OpenGVLab/AS-V2")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה מחודשת שלהם. מותר לאמן עליו מודלים מסחריים בלי חובה לחשוף את הקוד שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗