FullStackBench
קוד פתוחByteDanceapache-2.02024-11-25
בנצ'מרק להערכת מודלי שפה בפיתוח תוכנה מקצה לקצה. הוא כולל 3,000 דוגמאות ב־16 שפות תכנות לרוחב תחומי יישום שונים בעולם האמיתי.
- 432הורדות בחודש
- 30לייקים
מה זה
המאגר מציע מבחן ביצועים לפיתוח פול סטאק, הכולל 3,000 דוגמאות בדיקה. הנתונים מתפרסים על פני 16 שפות תכנות ומכסים מגוון רחב של תחומי יישום, כולל פיתוח אתרים ויישומי שולחן עבודה עם HTML. לפי כרטיס המאגר, המטרה היא לדחוף את גבולות היכולת של מודלי קוד בתרחישי פיתוח מציאותיים ומורכבים יותר מהמבחנים המקובלים.
הנתונים מחולקים לשתי ספריות שפה שונות, אנגלית וסינית. בכל אחת מהן יש קובץ בדיקה יחיד בפורמט פרקט. הדוגמאות מציגות משימות תכנות מלאות, והרצת הבדיקות דורשת סביבת הרצה ייעודית בשם סנדבוקס פיוז'ן שמספקת סביבת בדיקה מבודדת לקוד שנכתב בשפות השונות. הכרטיס אינו מפרט את אופן איסוף הנתונים המקורי או את תהליכי הסינון המדויקים שנעשו.
מתאים ל
- הערכת מודלי שפה לקוד
בדיקת ביצועים השוואתית של מודלים מול 3,000 משימות תכנות ב־16 שפות שונות.
- מדידת פיתוח פול סטאק
בחינת יכולת המודל לייצר קוד אמיתי במשימות פיתוח רשת ויישומי שולחן עבודה.
- השוואת ביצועים דו-לשונית
השוואת איכות הקוד שהמודל מייצר בהנחיות באנגלית לעומת הנחיות בסינית.
איפה זה נופל
המאגר נועד לבדיקה ולהערכה בלבד, ולא לאימון מודלים מבראשית או לכוונון עדין רחב היקף, שכן הוא מכיל רק קובצי מבחן. אין בו שום תמיכה בעברית או בשפות שאינן אנגלית וסינית, ואין פירוט לגבי אופן איסוף הנתונים או סינון של קוד שגוי או זכויות יוצרים מורכבות במקורות. ההרצה מחייבת הקמת סביבת דוקר כבדה לתמיכה ב־16 שפות, מה שמסבך את התהליך למי שרוצה רק לבדוק פלט מהיר ללא הרצת קוד חיה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי בעמוד מוגדר כאפאצ'י 2.0 המאפשר שימוש מסחרי, אך בגוף הכרטיס מופיעה תגית רישיון שיתוף זהה 4.0 עבור הנתונים. עמימות זו דורשת זהירות רבה לפני שימוש מסחרי. לא הייתי משלב את הנתונים במוצר סגור ללא הבהרה רשמית מהיוצרים.
האם יש במאגר דוגמאות או הנחיות בעברית?
המאגר אינו מכיל עברית כלל. הוא מחולק לשני קבצים בלבד, האחד באנגלית והשני בסינית. למי שמחפש הערכה של מודל על פרומפטים או משימות מקומיות, המאגר הזה לא מספק מענה.
איך נאספו הנתונים במקור?
דף המאגר אינו מפרט את שיטות האיסוף, את המקורות מהם נלקח הקוד או את אופן הניקוי של המידע. הכרטיס מפנה למאמר המלא לצורך פרטים מעמיקים יותר. כל מה שידוע מהעמוד הוא שמדובר ב־3,000 דוגמאות המכסות מגוון תחומי פיתוח תוכנה.
מה נדרש כדי להריץ את הבדיקות בפועל?
מעבר להורדת קובצי הפרקט, חובה להפעיל סביבת דוקר של ארגז החול המכונה סנדבוקס פיוז'ן. הסביבה מריצה שרת מקומי שמתקשר ב־HTTP ומבצע את הבדיקות ב־16 שפות התכנות הנתמכות. לאחר מכן מריצים את קוד הפייתון ממאגר הגיטהאב לצורך הערכת המודל.
איך טוענים
הנתונים שמורים כקובצי פרקט פתוחים להורדה ישירה ללא צורך באישור גישה. המאגר מכיל ארבעה קבצים בלבד, ביניהם קובץ התיעוד וקבצי המבחן באנגלית ובסינית. כדי להריץ את ההערכה בפועל לא מספיק רק לקרוא את הטבלאות. צריך להרים שרת ארגז חול מקומי דרך דוקר באמצעות התמונה הרשמית שפורסמה, להתקין את התלויות בקוד הפייתון שמנוהל בגיטהאב, להגדיר את פרטי המודל הנבדק ולהריץ את סקריפט הבדיקה הראשי מול הסביבה שרצה ברקע.
from datasets import load_dataset
ds = load_dataset("ByteDance/FullStackBench")הרישיון
יש סתירה בהגדרות הרישיון בעמוד. במטא-דאטה של הדף מוגדר רישיון אפאצ'י 2.0 המתיר שימוש מסחרי מלא, שינוי והפצה תחת ייחוס. עם זאת, התגית בגוף העמוד מציינת כי הנתונים עצמם מוגנים ברישיון קריאייטיב קומונס ייחוס ושיתוף זהה 4.0. המשמעות היא ששימוש בנתונים או הפצה שלהם מחייבים שיתוף תחת אותו הרישיון, מה שמחייב זהירות ובדיקה משפטית לפני שילובם במוצר מסחרי סגור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים