VisualPRM400K
קוד פתוחOpenGVLabmit2025-03-13
מאגר של כארבע מאות אלף דוגמאות להסקה מולטימודלית עם תיוג צעד אחר צעד. הוא נועד לאימון מודלי תגמול לתהליכי חשיבה חזותיים מורכבים במקום להסתפק בבדיקת התוצאה הסופית בלבד.
- 1,161הורדות בחודש
- 15לייקים
מה זה
המאגר מציע פיקוח על תהליכי פתרון של שאלות מבוססות תמונה, ומכיל כארבע מאות אלף רשומות שמובנות בצורת שיחה מרובת שלבים. התוכן נוצר באופן אוטומטי לחלוטין על ידי פייפליין ייעודי. הרעיון המרכזי מתבסס על הערכת הדיוק הצפוי של כל צעד בתהליך בעזרת דגימת מונטה קרלו, כאשר צעד נחשב נכון אם ההסתברות להגיע ממנו לפתרון נכון גדולה מאפס.
בגרסה זו, ערכי ההסתברות הומרו ישירות לתוויות בדידות של פלוס או מינוס לכל שלב בפתרון. הדוגמאות המוצגות מקיפות מגוון תחומים שכוללים קריאת טקסט מתמונה, ניתוח מסמכים ותרשימים, לצד שאלות במתמטיקה, מדעים וידע כללי.
מתאים ל
- אימון מודלי תגמול שלביים
לימוד מודל לזהות היכן בדיוק שרשרת ההסקה החזותית נשברת בכל צעד בנפרד.
- סינון מסלולי פתרון בזמן ריצה
בחירת נתיב ההסקה האופטימלי מתוך מספר אפשרויות שנוצרו על ידי מודל ראייה שפתי.
- בקרת איכות על ניתוח מסמכים
הערכת מהימנות השלבים בפתרון בעיות המשלבות פענוח תרשימים, טקסט ונוסחאות.
איפה זה נופל
כל התיוגים כאן מגיעים ממודלים וסימולציות מונטה קרלו ולא מבני אדם, מה שאומר ששגיאות מובנות באוטומציה מחלחלות ישירות לדאטה. בנוסף, כל הטקסט במאגר הוא באנגלית בלבד. אם המערכת שלכם צריכה לעבוד בעברית, המאגר לא יעזור לכם בלי תרגום והתאמה של כל התמונות וההסברים. הכרטיס גם מציין שכבר שוחררה גרסה חדשה יותר עם גיוון מקורות רחב יותר, מה שמעיד על פערי כיסוי בגרסה הזו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הדאטהסט מפורסם תחת רישיון MIT, שמאפשר שימוש מסחרי מלא, כולל אימון מודלים קנייניים. הדרישה היחידה היא לכלול את תנאי הרישיון והייחוס המקוריים בהפצה של הדאטה עצמו.
האם הדאטהסט מתאים לעבודה בעברית?
לא. הנתונים מתועדים באנגלית בלבד וכוללים שאלות, הסברים וטקסטים מתוך התמונות בשפה זו. כדי להתאים אותו לעברית תידרש עבודת תרגום ידנית והתאמה של המקורות החזותיים.
איך נאספו התיוגים לשלבי הפתרון?
המידע הופק אוטומטית באמצעות פייפליין ייעודי ולא תויג על ידי אנשים. המערכת העריכה את סיכויי ההצלחה של כל שלב באמצעות דגימות מונטה קרלו ותרגמה אותם לערך בינארי חיובי או שלילי.
האם עדיף להשתמש בגרסה זו או בגרסאות אחרות של הפרויקט?
ליוצרי הדאטהסט יש גרסה עדכנית יותר עם מקורות מגוונים יותר, וכן גרסה גולמית שמכילה את ערכי ההסתברות המדויקים במקום תוויות בינאריות. כדאי לבדוק אותן לפני שמתחילים להוריד קבצים בנפח גדול.
איך טוענים
המאגר פתוח להורדה ישירה ללא צורך בהרשאה מיוחדת. הנתונים לא מגיעים בקובץ טבלאי פשוט, אלא מפוצלים לקובץ תיוגים מכווץ ולמספר קובצי תמונות מפוצלים בסיומות ייעודיות שיש לאחד ולפתוח מקומית. התיוגים מובנים כמבנה שיחה, שבו כל צעד כולל תג בינארי של נכון או שגוי. אם אתם זקוקים להסתברות הרציפה המקורית ולא רק לתוויות, תצטרכו להוריד גרסה חלופית של המאגר.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/VisualPRM400K")הרישיון
המאגר מופץ תחת רישיון MIT, מה שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. המודל ששימש לייצור הדאטה מתבסס על רכיב ברישיון אפאצ'י 2.0. מבחינת אימון מודלים, הרישיון גמיש לחלוטין ואינו מחייב אתכם לחשוף את המשקלים או הקוד של המודל שתאמנו עליו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש