comparator
רץ בדפדפןopen-llm-leaderboardרישיון לא דווח2024-10-03
השוואת ביצועים מפורטת בין מודלי שפה שנבדקו בלוח התוצאות הפתוח של הוגינג פייס. הכלי מיועד לחוקרים ולמפתחים שרוצים לבחון ציונים, הגדרות הרצה ודגימות ספציפיות.
- —הורדות בחודש
- 114לייקים
מה זה
במקום להסתכל על טבלה כללית ושטוחה, אתם בוחרים כמה מודלים מתוך רשימה נפתחת ובוחנים את ההבדלים ביניהם בכמה לשוניות נפרדות. הממשק שואב את הנתונים ישירות ממאגר המידע open-llm-leaderboard/results, שמרכז ציונים של מבחנים מוכרים בתחום. אפשר לבודד משימות מסוימות, להציג גרפים, לבדוק סטיות תקן של התוצאות, ואפילו להשוות בין מודל בסיס לגרסאות שעברו כוונון עדין דרך עץ מודלים ייעודי.
חוץ מתוצאות מספריות, המערכת מציגה את קובצי ההגדרות המדויקים שבהם המודלים רצו, עם אפשרות לסנן ולהציג רק את ההבדלים בהגדרות. בלשונית הפרטים אפשר לצלול עד לרמת דגימת המבחן הבודדת לפי אינדקס ולראות בדיוק מה המודל פלט מול משימה ספציפית. יש גם לשונית ייעודית שמציגה גרפים של השפעה סביבתית ופליטות פחמן שנמדדו בזמן ההערכה של המודלים שנבחרו.
מתאים ל
- השוואת ציונים מעמיקה
בחינת ציונים, גרפים וסטיות תקן בין מספר מודלים שונים שנבחנו בלוח התוצאות הפתוח.
- איתור הבדלי קונפיגורציה
בדיקת ההגדרות הטכניות המדויקות ששימשו להרצת המבחנים והצגת השוני ביניהן בלבד.
- ניתוח דגימות שגיאה
צפייה בפלט המדויק של מודלים שונים על דגימת מבחן ספציפית לפי מספר אינדקס.
- בדיקת השפעה סביבתית
השוואת פליטות פחמן ונתוני שימוש במשאבים שנמדדו בזמן תהליך ההערכה של המודלים.
איפה זה נופל
הבעיה המרכזית כרגע היא מצב שגיאת הריצה של העמוד, מה שאומר שהממשק פשוט לא נטען בדפדפן ולא מאפשר ללחוץ על כלום. גם כשהוא עובד, לא מריצים כאן מודלים בזמן אמת ולא מכניסים טקסט חופשי כדי לקבל תשובה, אלא רק מנתחים נתונים שנשמרו מראש במאגר של לוח התוצאות. בנוסף, מי שמעוניין בהערכות עבור עברית לא ימצא כאן מענה מיוחד, כי המבחנים במאגר בנויים לפי המדדים הסטנדרטיים של הלוח העולמי באנגלית. אין פה אפשרות להעלות מודל פרטי משלכם לבדיקה ישירה במקום.
שאלות
נפוצות
האם הכלי הזה זמין בחינם?
כן, השימוש בממשק פתוח לחלוטין ברשת ואין עליו תשלום. כל מה שצריך זה דפדפן פעיל. אין פה מנויים או תוכניות בתשלום.
למה הממשק לא נטען כרגע?
העמוד מדווח כרגע על שגיאת ריצה בצד השרת של הוגינג פייס. עד שהיוצרים של לוח התוצאות יעדכנו את הקוד או יאתחלו את המרחב, הממשק מושבת ולא מגיב לפעולות.
האם אפשר להריץ עליו טקסטים שלי או מודלים חדשים?
לא, הוא לא מיועד להרצת מודלים או בדיקת פרומפטים משלכם. הוא רק מציג תוצאות ממבחנים שכבר בוצעו ותועדו במאגר הנתונים הפתוח של הפרויקט.
מה קורה עם המידע והקבצים שאני מכניס?
אתם לא מעלים קבצים פרטיים לכלי, אלא רק בוחרים שמות של מודלים מתוך רשימה נתונה. בלשונית התוצאות יש כפתור הורדה שמאפשר לשמור אצלכם קובץ עם הנתונים שהוצגו.
איך משתמשים
בוחרים מודלים ברשימת הבחירה המרובה בחלק העליון של המסך, וברגע שנבחר מודל, כפתורי הטעינה בלשוניות השונות נהיים פעילים. לוחצים על כפתור הטעינה בלשונית שמעניינת אתכם, בין אם מדובר בתוצאות, בהגדרות, בפרטי דגימות או בגרפי השפעה סביבתית, והמידע מופיע כגרפים, טבלאות ותצוגת קוד. הממשק רץ על מעבד משודרג בהוגינג פייס כך שהטעינה אמורה להיות מהירה, אבל כרגע הוא תקוע במצב שגיאת ריצה. כשהוא לא עולה, לא ניתן להגיע לממשק הפעיל עד שהיוצרים יאתחלו או יתקנו אותו.
הרישיון
הרישיון של המרחב לא דווח כלל בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה להעתיק או לשלב את הקוד שלו במערכות מסחריות בלי אישור ישיר מהיוצרים. עם זאת, כל המידע שהוא מציג נלקח ממאגר תוצאות ציבורי של הוגינג פייס, ואתם לא מעלים אליו קבצים פרטיים או טקסטים סודיים משלכם.