SWE-Atlas-QnA
קוד פתוחScaleAIרישיון לא דווח2026-02-24
שאלות ותשובות מורכבות על קוד פתוח אמיתי, שנכתבו כדי לבדוק אם סוכנים מבינים ארכיטקטורה ולא רק מתקנים באגים נקודתיים. זה מאגר ממוקד שמיועד לבנצ'מרק של הבנת מערכות שלמות.
- 575הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל 124 משימות שנלקחו מתוך 11 מאגרי קוד פתוח ב־Go, Python, C ו־TypeScript. בכל רשומה מקבלים מזהה ייחודי, שאלת בדיקה, תשובת ייחוס שנכתבה בידי מומחה, כתובת המאגר וקומיט ספציפי שעליו הסביבה נעולה. יש כאן גם הגדרת שפה, קטגוריית משימה, ומחרוזת רובריקה מפורטת בפורמט JSON.
השאלות דורשות מעקב אחרי מסלולי ריצה והסבר של החלטות ארכיטקטוניות במערכות פרודקשן. הנתונים מגיעים בקובץ Parquet וקובץ CSV בפיצול טסט, לצד קובצי הגדרות YAML שמסבירים איך להריץ ולהעריך את המודל. בנוסף, כל משימה מצביעה על תמונת דוקר מוכנה ב־Docker Hub שמכילה את המאגר עם כל התלויות שלו.
מתאים ל
- בנצ'מרק להבנת ארכיטקטורה
בדיקת יכולת הסוכן להסביר החלטות מבניות ומסלולי ריצה בקוד קיים.
- הערכת סוכני תכנות
מדידת ביצועים של מודלים מול רובריקות מוגדרות מראש ותשובות מומחה.
- בדיקת עמידה בהנחיות
בחינה אם הסוכן עונה לעניין בלי לגעת בקוד המקור ובלי להשאיר קבצים.
איפה זה נופל
זה לא מאגר לאימון רחב אלא סט בדיקה קטן מאוד של 124 משימות בלבד, כולן באנגלית ומסביב לארבע שפות תכנות. אין פה נתונים על שפות אחרות, וההערכה תלויה לחלוטין במודל חיצוני שמשמש כשופט, מה שמכניס תלות ישירה בהטיות שלו. בנוסף, כל שינוי שסוכן משאיר בקוד פוסל את המשימה אוטומטית, כך שחובה להרים סביבת ריצה מבודדת ולוודא ניקוי מלא.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
לא דווח רישיון עבור המאגר הזה. בהיעדר רישיון רשמי אין אישור משפטי להשתמש בנתונים לצרכים מסחריים או לאימון מודלים סגורים. מומלץ לפנות ליוצרים ב־ScaleAI לפני שמכניסים אותו לפייפליין ארגוני.
האם יש במאגר תמיכה בעברית?
לא. כל 124 השאלות, תשובות המומחים והקוד שנבדק מבוססים על אנגלית וקוד פתוח בינלאומי. אין בנתונים טקסט או תיעוד בעברית.
במה הוא שונה ממאגרי SWE רגילים?
רוב המאגרים בתחום בודקים אם סוכן מצליח לתקן באג ולגרום לטסטים לעבור. כאן הדגש הוא על מענה לשאלות טכניות עמוקות על המערכת, וההערכה נעשית מול רובריקות של עובדות נכונות ושגויות ולא באמצעות הרצת בדיקות יחידה.
איך טוענים
טוענים את הנתונים ישירות מקובץ ה־Parquet או ה־CSV בלי צורך באישור גישה. בשביל להריץ הערכה אמיתית מושכים את תמונת הדוקר שמוגדרת בשדה docker_image ומאפסים את המאגר לקומיט שבשדה repository_base_commit. המפרסמים ממליצים לעבוד עם שלד harbor וסביבות modal, או לעקוב אחרי הקונפיגורציה שבקובץ default_qa_config.yaml. כדי לחשב ציונים מריצים שופט מבוסס Claude Opus 4.5 שמשווה את פלט הסוכן לכללים שבשדה rubric, לפי ההנחיות שב־rubric_evaluation_config.yaml.
from datasets import load_dataset
ds = load_dataset("ScaleAI/SWE-Atlas-QnA")הרישיון
המאגר פורסם בלי רישיון מוגדר. כל עוד היוצרים לא צירפו רישיון שימוש, מבחינה משפטית אין היתר מפורש להשתמש בנתונים, לא לפיתוח מסחרי ולא למחקר. זה אומר שאי אפשר לדעת אם מותר לאמן עליו מודלים, להפיץ תוצרים נגזרים או לשלב אותו במערכות פנימיות בלי להסתכן.