QCalEval
קוד פתוחnvidiacc-by-4.02026-04-06
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
גרפים מניסויי כיול של מחשוב קוונטי עם שאלות ותשובות מותאמות. המאגר בודק יכולת של מודלי ראייה ושפה להבין נתונים מדעיים מורכבים במקום תמונות יומיומיות.
- 514הורדות בחודש
- 21לייקים
מה זה
המאגר כולל 309 תמונות PNG של גרפי פיזור, קווי מגמה ומפות חום שמציגות מדידות של מכשירים קוונטיים. התוכן מקיף 22 משפחות ניסוי ו־87 תרחישים, בעיקר סביב שתי פלטפורמות חומרה: קיוביטים מוליכי על ואטומים ניטרליים. המבחן הראשי מחזיק 243 רשומות, כשכל רשומה כוללת שש שאלות ותשובות שבוחנות תיאור ויזואלי, סיווג תוצאות, הסקת מסקנות, אמינות התאמה, חילוץ פרמטרים ואבחון תהליך הכיול. לצידו קיים סט נוסף של 236 רשומות המיועד לבדיקות פיו שוט.
מקור הנתונים משלב סימולציות פנימיות של אנבידיה ומדידות חומרה אמיתיות משותפים כמו IQM, מעבדות פרמי, EeroQ, Infleqtion והמעבדה הלאומית לפיזיקה בבריטניה. יצירת התשובות החלה בהערות קצרות של מומחי תחום אנושיים. מודלים מסוג GPT-5.4 ו־Gemini 3.1 Pro הרחיבו את ההערות לתשובות מלאות ורובריקות ניקוד, עם בדיקה צולבת ואימות ידני נוסף של מומחים.
מתאים ל
- הערכת מודלי ראייה מדעיים
בדיקת יכולת המודל לפענח גרפים טכניים של ניסויי פיזיקה מורכבים.
- אוטומציה לכיול קוונטי
בחינת מודלים שמנתחים חריגות ואיכות נתונים של חומרת מחשוב קוונטי.
- מדידת למידה מדוגמאות
השוואת ביצועים של מודלים במצב אפס דוגמאות מול מצב של מעט דוגמאות.
איפה זה נופל
המאגר קטן מאוד ומכיל פחות מ־250 רשומות במבחן העיקרי, כך שהוא לא מתאים לאימון מודלים מאפס אלא להערכה בלבד. כל הטקסטים וההסברים כתובים באנגלית בלבד. התשובות והרובריקות הורחבו באמצעות מודלי שפה מסחריים, מה שעלול להכניס ניסוחים סינתטיים למרות הבקרה האנושית. בנוסף, הכיסוי מוגבל ל־22 משפחות ניסוי ושני סוגי חומרה קוונטית בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא קריאייטיב קומונס 4.0 ומאפשר פעילות מסחרית מפורשת. צריך רק לציין קרדיט ברור לאנבידיה ולמפתחים בתיעוד הפרויקט. אין חובה לשחרר את המוצר או המודל שלכם בקוד פתוח.
האם המאגר כולל תוכן בעברית?
לא, כל המאגר מתועד באנגלית בלבד. הגרפים, השאלות, התשובות ורובריקות ההערכה מיועדים כולם לטרמינולוגיה מדעית באנגלית. אם רוצים לבדוק ביצועים בעברית, צריך לתרגם את השאלות וההנחיות באופן עצמאי.
מאיפה הגיעו הנתונים והאם הם אמיתיים?
המאגר משלב סימולציות תוכנה של אנבידיה עם נתוני אמת מחומרה קוונטית. המדידות האמיתיות סופקו על ידי גופים בתעשייה ובמחקר כמו מעבדות פרמי ו־IQM. מומחי תחום אנושיים ניסחו את ההערכות הראשוניות, ונעזרה הרחבה מבוקרת של מודלי שפה כדי לבנות את השאלות המלאות.
כמה שטח אחסון נדרש כדי להוריד את המאגר?
המאגר שוקל 27 מגה בייט בלבד. הוא כולל 309 תמונות קטנות וכמה קובצי נתונים בפורמט Parquet ו־JSON. ההורדה והטעינה מתבצעות תוך שניות בודדות ללא דרישות חומרה חריגות.
איך טוענים
גודל המאגר זעיר, סך הכל 27 מגה בייט בחמישה קבצים, והוא פתוח להורדה ישירה ללא צורך באישור גישה. הנתונים מאורגנים בקובצי Parquet לתתי הקבוצות של המבחן והפיו שוט, לצד קובצי JSON להגדרות הניסויים ורובריקות הניקוד. השדות החשובים כוללים את קובצי התמונה, מטא נתונים על הניסוי והשאלות המובנות לפי סוג המשימה המדעית.
from datasets import load_dataset
ds = load_dataset("nvidia/QCalEval")הרישיון
המאגר מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש חופשי, כולל שימוש מסחרי מלא, שינוי הנתונים ושילובם בפרויקטים אחרים. הדרישה היחידה היא מתן קרדיט מתאים ליוצרים מאנבידיה ולשותפים שסיפקו את המדידות. אין דרישה לשתף תוצרי מודלים שאומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס