אנבידיה מנסה להחליף את עצי ההחלטה במודל אחד

כל מי שמתחזק פייפליין נתונים בעסק מכיר את השגרה הזאת בעל פה. מנקים שורות, מייצרים תכונות חדשות בידיים, שורפים שעות על כיוונון היפר-פרמטרים ב־XGBoost, וחוזרים על הכל מחדש כשהנתונים זזים. שלשום הציגה NVIDIA את Kumo Tabular, מודל בסיס פתוח שמתיימר לדלג על כל שרשרת הייצור הזאת ולחזות ערכים מתוך טבלאות בריצה אחת. הרעיון נשמע מפתה, אבל החיים עצמם בדרך כלל קצת פחות מסודרים מדפי ההשקה של יצרניות שבבים.

טבלאות בלי אימון מראש

במקום לאמן מודל מאפס על כל טבלה חדשה, המודל שואל את עקרון הלמידה בהקשר ישירות מעולם מודלי השפה הגדולים. אתם מעבירים טבלה עם דוגמאות מתויגות לצד השורות החדשות שתרצו לחזות, והוא מחזיר הסתברויות סיווג או ערכי רגרסיה במעבר קדימה יחיד. אין כאן שלב עדכון משקולות עבור הנתונים שלכם, ואין צורך בחיפוש ארוך של שילוב עצים אופטימלי על מעבדים מקומיים. המודל מקבל את הנתונים כקלט ומייצר תחזית ישירות מתוך ההקשר.

הוא מגיע בשלושה גדלים שנעים בין 28 מיליון ל־215 מיליון פרמטרים. עבור צוותים שרוצים לבחון במהירות היתכנות של משימת סיווג פשוטה, מדובר בחיסכון של ימי עבודה שלמים מול פרויקטים שתקועים עדיין בשלב בדיקת הנתונים. המחשב מקבל טבלה, מבין את ההקשר ומספק מספר.

בשלב ההסקה, משימת סיווג בודדת מכסה עד 10 מחלקות שונות במעבר בודד, בעוד הספריה מרחיבה את התמיכה למספר מחלקות גבוה יותר באמצעות קודי תיקון שגיאות. עבור משימות רגרסיה, המודל מחזיר 999 קוונטילים שמספקים חיזוי נקודתי והערכת אי-ודאות סביבו.

מאה עמודות ומספרים בלבד

מתחת למכסה המנוע, המודל משתמש בטרנספורמר שמפרק כל תא לטוקן דרך פונקציות פורייה שלמדו תדרים מתאימים לערכים מספריים וקטגוריאליים. הוא מפעיל תשומת לב לעמודות כדי לתפוס את התפלגות המאפיין, ותשומת לב לשורות עם מיקומים סיבוביים כדי להבין את הקשרים בין השדות בכל שורה. ארבעה טוקנים ייעודיים של סיכום מצטרפים לכל שורה ומשמשים כקריאה הסופית שלה, כך שעלות השלב האחרון אינה תלויה במספר העמודות. בנוסף, מנגנון טמפרטורה שגדל עם לוגריתם מספר המפתחות שומר על חדות תשומת הלב בטבלאות ארוכות במיוחד.

Kumo Tabular פועל על עמודות מספריות וקטגוריאליות בלבד, בעוד טקסט, תמונות או חותמות זמן ניתנים להמרה למאפיינים באמצעות תהליכי עיבוד מקדים מובנים.דוקומנטציית המודל של NVIDIA

Kumo Tabular אומן על טבלאות של עד 100 עמודות בלבד, ומחייב אתכם לעבד מראש כל שדה שאינו מספר טהור או קטגוריה סגורה.

אם בסיס הנתונים שלכם כולל עמודת הערות חופשיות של לקוחות, תיאורי מוצר או תאריכים מורכבים, תצטרכו להכין אותם ידנית לפני ההרצה. שורות ההקשר מעבדות נתונים חסרים ללא צורך בהשלמה ידנית, אך באימון המודל נחשף לטבלאות של עד 100 עמודות בלבד. במילים אחרות, עבודת הנדסת התכונות השחורה שכולם קיוו למחוק פשוט זזה צעד אחד אחורה בפייפליין.

בדיקות מעבדה מול שרת אמיתי

לפי החברה, המודל תפס את המקום הראשון במבחן TabArena עם דירוג ELO של 1950, כשהוא מציג מהירות גבוהה פי 17 בהשוואה למודל LimiX-2. במבחן BeyondArena הציג דירוג ELO של 1418 עם ציון יכולת שיפור של 7.78%, נתון שהציב אותו בראש לוח התוצאות. המספרים הללו נשמעים מרשימים, אבל הם נמדדו בסביבת מעבדה מבוקרת על כרטיס מסך בודד מסוג RTX 6000 Pro של אנבידיה עצמה.

הבדיקות בוצעו כולן בהרצה פנימית של צוות הפיתוח, ועדיין לא אושרו עצמאית על ידי גורמי צד שלישי בלוחות המובילים הציבוריים.

נקודה נוספת שמחייבת זהירות נוגעת למקור הנתונים. המודל אומן כולו על טבלאות סינתטיות שנוצרו על ידי מודלים סיבתיים מבניים, מתוכן 35 מיליון טבלאות לדגם הקטן, 71 מיליון לדגם הבינוני ו־137 מיליון לדגם הגדול. תהליך האימון התבצע בשלושה שלבים: שלב ראשון של טבלאות עם 1,024 שורות ועד 100 עמודות, שלב שני שבו ההקשר נע בין 400 ל־10,240 שורות, ושלב שלישי שהרחיב את ההקשר עד 60,000 שורות. למרות שהחוקרים הזריקו פנימה ערכים חסרים ועיוותים סטטיסטיים, נתונים עסקיים אמיתיים נוטים לסבול מתופעות קיצון ושינויי התפלגות חדים שמערכות מלאכותיות מתקשות לדמות.

מה לבדוק לפני שרצים לנסות

אם יש לכם שרת עם מאיץ גרפי זמין וטבלאות צרות יחסית, שווה לבדוק את משקולות המודל של NVIDIA. המשקולות משוחררות תחת רישיון OpenMDW-1.1 המאפשר שימוש מסחרי, כך שתוכלו להשתמש בו בתוך פרויקט עסקי ללא עלות רישוי. הכלי הזה יכול לשמש נקודת ייחוס מהירה בתחילת כל מחקר, בלי לבזבז זמן על אימון רשתות מורכבות.

מצד שני, אם הפייפליין שלכם רץ על מעבדי שרת רגילים ללא GPU, או אם הנתונים שלכם מתפרסים על פני מאות עמודות, עצי ההחלטה הוותיקים עדיין יעשו את העבודה טוב וזול יותר. לא הייתי ממהר למחוק את קבצי התצורה של LightGBM מהשרתים השבוע. אנבידיה מאוד תשמח למכור לכם כרטיסי מסך לעיבוד טבלאות, אבל ל־XGBoost שלכם עדיין לא ממש אכפת.