IndustryBench
קוד פתוחalibaba-multimodal-industrial-aimit2026-05-12
המאגר כולל 2,049 שאלות ותשובות מומחה ב־10 ענפי תעשייה כבדה וטכנית, מלוות במקורות רשמיים לבדיקת הידע של מודלי שפה בארבע שפות שונות.
- 145הורדות בחודש
- 30לייקים
מה זה
כל שורה במאגר מכילה שאלה ותשובת ייחוס בארבע שפות: סינית, אנגלית, רוסית ווייטנאמזית. השאלות נוצרו על ידי מומחים, עברו בדיקת תרגום אנושית, ומקושרות ישירות לציטוט מקור מחייב כמו תקן לאומי, מדריך מוצר או ספרות טכנית רשמית בשדה המכונה knowledge_text. בנוסף מוצמדים לכל רשומה תגי קושי, סיווג ענפי ותג יכולת.
התוכן נפרס על פני עשרה ענפי תעשייה שונים. הנתח המרכזי מוקדש למכונות וכלי עבודה עם 23.3 אחוזים, כימיקלים וציפויים עם 19.8 אחוזים, ואלקטרוניקה וחיישנים עם 16.2 אחוזים. שאר הרשומות מתחלקות בין חשמל, מטלורגיה, אנרגיה, בטיחות אש, אריזה ודפוס, טקסטיל ותחומים כלליים. החלוקה לפי סוגי משימות נוטה בכבדות לבחירה והחלפת ציוד, ידע בתקנים ומינוח, והבנת תהליכי ייצור.
מתאים ל
- מבחן ביצועים תעשייתי
הרצת סקריפט ההערכה כדי לבדוק דיוק תשובות של מודלי שפה מול מקורות הנדסיים רשמיים.
- בדיקת בטיחות ותאימות
זיהוי מקרים שבהם המודל ממליץ על ציוד לא מתאים או מפר הנחיות תקן קריטיות בענף.
- הערכה רב-לשונית ממוקדת
השוואת עקביות התשובות הטכניות של מודל בין אנגלית, רוסית, סינית ווייטנאמזית.
איפה זה נופל
ההתפלגות אינה מאוזנת ותלויה במקורות שנמצאו בפועל. אבחון תקלות כולל רק 31 שאלות וחישובים הנדסיים מונים 22 שאלות בלבד, כך שאי אפשר להסתמך עליהם לדירוג אמיתי של מודל. עברית לא קיימת כאן בכלל, והבדיקות מוגבלות לארבע השפות שנכללו. חלק מהענפים, כמו טקסטיל עם 2.4 אחוזים, זוכים לייצוג מזערי. אם אתם בונים כלי לתעשייה מקומית, תצטרכו להביא בחשבון שהתקנים והמונחים מבוססים על ספרות גלובלית וסינית ולא על תקינה ישראלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הדאטהסט משוחרר ברישיון MIT, מה שמאפשר שימוש מסחרי חופשי, כולל אימון והערכה של מודלים פנימיים או מוצרים בתשלום, כל עוד שומרים על תנאי הייחוס של הרישיון.
האם יש במאגר שאלות בעברית?
לא. המאגר תומך בארבע שפות בלבד: סינית, אנגלית, רוסית ווייטנאמזית. כל שאלה ותשובה תורגמו ונבדקו ידנית רק בשפות האלה, כך שלצורך בדיקה בעברית תצטרכו לתרגם את הנתונים בעצמכם.
כמה המאגר גדול והאם צריך שרת חזק כדי להריץ אותו?
המאגר קטן מאוד וכולל 2,049 שורות בלבד בקובץ טבלאי יחיד. אפשר להוריד אותו בשניות לכל מחשב נייד רגיל, והרצת ההערכה תלויה בעיקר בעלויות ה־API או בחומרה שמריצה את המודל הנבדק.
איך נאספו התשובות והאם המידע אמין?
כל צמד שאלה ותשובה גובש על ידי מומחה ומקושר ישירות לקטע מתוך תקן לאומי, מדריך ציוד או מסמך מקור מוסמך. המקורות הללו נשמרים בעמודה נפרדת ומשמשים את סקריפט השופט כדי לוודא שהתשובה נשענת על עובדות ולא על הזיות.
איך טוענים
הטעינה מתבצעת ישירות בספריית datasets עם הפקודה load_dataset על המזהה של עליבאבא, ללא צורך בהרשאה מוקדמת. המאגר כולו יושב בקובץ CSV אחד בתוך המאגר ומכיל 2,049 שורות, כך שמדובר בהורדה קלה מאוד. בעבודה עם הנתונים חשוב לשים לב לשדות השפה הייעודיים לכל טקסט, ובעיקר לשדה knowledge_text שמשמש כמקור האמת בעת הפעלת סקריפט ההערכה המצורף evaluate.py.
from datasets import load_dataset
ds = load_dataset("alibaba-multimodal-industrial-ai/IndustryBench")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי מלא, שינוי, הפצה ושילוב במערכות סגורות, ללא דרישה לשתף נגזרות תחת אותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. מבחינת מודל שאומן או נבדק על הנתונים, אין מגבלה מסחרית על תוצרי הריצה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש