Scale-SWE-Distilled

מה זה

המאגר מציג רשומות המייצגות בעיות קוד אמיתיות שנאספו מתוך מעל שישה מיליון בקשות משיכה ומעשרות אלפי מאגרים בגיטהאב. כל רשומה כוללת מזהה ייחודי, תיאור הבעיה, תיקון המקור, סביבת עבודה, וקישור לצלמית דוקר מובנית מראש שמאפשרת שחזור של התקלה. בנוסף, ישנם מבחני יחידה שבודקים את התיקון, כולל בדיקות שמכשילות את הקוד השבור ועוברות לאחר התיקון.

בגרסה הזו שוחררו עשרים אלף מופעי משימות לצד שבעים ואחד אלף מסלולי זיקוק שנוצרו על ידי דיפסיק וכוללים שלושה וחצי מיליארד טוקנים. הנתונים מגיעים מכחמשת אלפים ומאתיים מאגרים שונים וכוללים גם סקריפטים סינתטיים לשחזור באגים שנוצרו על ידי סוכן ייעודי.

מתאים ל

• אימון סוכני קוד

  לימוד מודלים לפתרון באגים מורכבים בפייתון באמצעות מסלולי פתרון מוכנים.

• הערכת ביצועי מודלים

  בדיקת יכולת התיקון של סוכנים על גבי סביבות דוקר אמיתיות ומבחני יחידה.

• מחקר על זיקוק ידע

  ניתוח מסלולי הסקה שנוצרו על ידי מודלים מתקדמים לטובת שיפור מודלים קטנים.

איפה זה נופל

כל הקוד במאגר מוגבל כרגע לשפת פייתון בלבד, כך שמי שמפתח סוכן לשפות אחרות לא ימצא כאן מענה. בנוסף, חלק ממבחני השחזור הם סינתטיים ונוצרו על ידי סוכן אוטומטי ולא נכתבו בידי מפתחי המקור, מה שעלול להכניס רעש לסביבת ההערכה. המאגר מכיל רק חלק מתוך מאה אלף הדגימות שפותחו בפרויקט, כך שהכיסוי אינו מלא.

אותה משפחה

Scale-SWE יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

הנתונים מחולקים לשמונה קובצי פארקט תחת תיקיית המידע. אפשר לטעון אותם בספריית הדאטהסטס הרגילה ללא צורך בבקשת גישה מיוחדת, שכן המאגר פתוח להורדה. לפני שמתחילים להריץ את המשימות בסביבת בדיקה, צריך להשתמש בקישורי הדוקר המצורפים בכל שורה ולהריץ את פקודות ההכנה כדי להביא את הקוד לקומיט המדויק.

from datasets import load_dataset

ds = load_dataset("AweAI-Team/Scale-SWE-Distilled")

הרישיון

בעמוד המאגר מופיע תג רישיון המציין שימוש חופשי עם ייחוס מסוג סי סי בי וואי 4.0, אך המטאדאטה הרשמית של הדף לא הגדירה רישיון בצורה מסודרת. במצב כזה מומלץ לבדוק את קובץ הרישיון בפרויקט המקור בגיטהאב לפני שימוש מסחרי או אימון מודל סגור, כדי לוודא שאין סתירה ברישוי של קוד המקור שנאסף.

הרישיון המלא ב־Hugging Face ↗