ifc-bench

מה זה

הנתונים מבוססים על 22 פרויקטים הנדסיים הכוללים 51 קובצי IFC מתחומי האדריכלות, הקונסטרוקציה ומערכות הבניין. השאלות מחולקות לארבע דרגות קושי: שליפה ישירה של נתונים טכניים, חישובים וסיכומים מתמטיים על רכיבים, ניתוח מרחבי וגאומטרי מורכב, ושאלות שדורשות זיהוי של מידע חסר במודל.

קובצי המבנים נאספו ממאגרים ציבוריים מוכרים כמו buildingSMART, מאגרי בדיקות של KIT ופרויקטי סטודנטים מהאוניברסיטה הטכנית של מינכן. כל רשומה כוללת את השאלה, תשובת הייחוס, שם הפרויקט, שם קובץ המודל וסיווג רמת המורכבות. הקובץ המרכזי אינו מחולק מראש לסט אימון ומבחן, אך קיים קובץ חלוקה נפרד לצורכי השוואת ביצועים מחקרית.

מתאים ל

• בנצ'מרק למודלי שפה בהנדסה

  בדיקת יכולת המודל לשלוף מאפיינים טכניים מתוך קובצי IFC ולענות על שאלות הנדסיות מוגדרות.

• הערכת שאילתות מרחביות

  מדידת ביצועים של מערכות אוטונומיות בחישוב שטחים, כמויות ויחסי מיקום בתוך מבנה.

• בדיקת אמינות וזיהוי חוסרים

  בחינה אם המודל מזהה מתי מידע חסר בתוכנית במקום להמציא תשובה שגויה.

איפה זה נופל

כל הטקסט באנגלית בלבד ואין תמיכה בשפות אחרות. מרבית המודלים מוגבלים לאדריכלות בלבד, כך שהייצוג של מערכות מכניות וחשמל חלקי מאוד. המאגר כולל 1,027 שאלות בסך הכל, כמות שמתאימה בעיקר למבחני ביצועים ולא לאימון מודלים מאפס. בנוסף, חלוקת השאלות מוטה בבירור לחישובים פשוטים יחסית, בעוד שאלות מרחביות מורכבות מהוות כעשרה אחוזים בלבד מהחומר.

איך טוענים

טוענים את קובץ ה־CSV ישירות באמצעות פנדס או משכפלים את המאגר מגיטהאב. הגישה חופשית לגמרי ואין צורך באישור. מעבר לקריאת הטקסט, כדי להפיק ערך צריך לעבוד עם המודלים עצמם בפורמט IFC, מה שמחייב התקנת ספריות ייעודיות כמו ifcopenshell בסביבת פייתון 3.8 ומעלה.

from datasets import load_dataset

ds = load_dataset("sylvainHellin/ifc-bench")

הרישיון

זוגות השאלות והתשובות מופצים תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי בכפוף למתן ייחוס. עם זאת, ארבעה מתוך קובצי המודלים מופצים תחת רישיון GPLv3, מה שמטיל מגבלות קוד פתוח מחמירות על מי שמפיץ אותם או יוצר מהם יצירות נגזרות. יש לבודד מודלים אלה אם המטרה היא מסחרית.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗