Nexus_Function_Calling_Leaderboard

מה זה

העמוד מציג טבלאות ותרשימי רדאר מוכנים מראש, שמדרגים מודלים שונים לפי הציונים שלהם בהפעלת פונקציות. אתם לא מזינים כאן פרומפטים משלכם ולא בודקים קוד חי, אלא צופים בתוצאות השוואתיות לפי סוגי משימות שונים.

הנתונים מאורגנים בלשוניות נפרדות, כולל לשונית מרכזית עם ממוצעים ולשוניות ייעודיות לתרחישים ספציפיים. אפשר לראות תרשימים גרפיים שמשווים יכולת כללית מול התמודדות עם ריבוי ארגומנטים והרבה ממשקי תכנות במקביל. לצד הטבלאות, יש פירוט של הגדרות הפונקציות ותיאורי ה־APIs ששימשו לבדיקה, לצד דוגמאות מובנות שממחישות את המשימות שנבדקו.

מתאים ל

• בחירת מודל לסוכן חכם

  בדיקת ציונים כדי לבחור מודל שמצטיין בהפעלת פונקציות עבור מערכות אוטונומיות ואינטגרציות.

• השוואת עומסי ארגומנטים

  בחינת תרשימי הרדאר כדי לראות מי מתמודד היטב עם קריאות מורכבות שמכילות פרמטרים רבים.

• עיון בהגדרות פונקציות

  קריאת הדוגמאות והמבנה של תיאורי ה־API שמוצגים בלשוניות לצורך למידת מבנה המבחן.

איפה זה נופל

זהו לוח השוואה סטטי בלבד ולא סביבת ניסויים. אי אפשר להריץ כאן בדיקות על מודלים חדשים, להזין משימות אישיות או לבדוק איך מודל מסוים מתמודד עם ה־API הפרטי שלכם. בנוסף, המבחנים נקבעו על ידי יוצרי הכלי ולא ידוע מהקוד מתי הנתונים עודכנו לאחרונה, כך שמודלים חדשים עשויים להיעדר. מי שצריך לדעת איך מודל יתנהג בעברית יצטרך לבדוק זאת בעצמו, כי המבחנים בודקים קריאות קוד ו־APIs באנגלית.

איך משתמשים

נכנסים לקישור בדפדפן והעמוד נטען מיד, בלי הרשמה, בלי צורך במפתחות API ובלי שום התקנה. הממשק בנוי בגרדיו ומציג נתונים קיימים, כך שאין כאן תור עיבוד או המתנה לחישובים כבדים. הניווט מתבצע בלחיצה פשוטה על לשוניות המשימות ופתיחת תפריטי האקורדיון כדי לבחון תרשימים וטבלאות ספציפיות. השרת רץ על מעבד בסיסי, אבל מאחר שמדובר בעיון במידע סטטי ולא בהרצת מודלים ברקע, הדפדוף עובד חלק וללא זמני טעינה מורגשים.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בקוד. אין כאן מנגנון של העלאת קבצים או שמירת נתוני משתמשים, כך שהשאלה לגבי זכויות על תוכן שנוצר אינה רלוונטית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗