UGI-Leaderboard
רץ בדפדפןDontPlanToEndapache-2.02024-03-13
לוח תוצאות שמרכז ציונים והשוואות של מודלי שפה לא מצונזרים במשימות שונות. הוא מיועד למי שמחפש מודל פתוח בלי מגבלות בטיחות ורוצה לראות ביצועים מול מבחנים ספציפיים.
- —הורדות בחודש
- 2,038לייקים
מה זה
אתם לא מריצים כאן מודלים אלא מסתכלים על טבלת נתונים אינטראקטיבית שנבנתה ב־Dash. הממשק מציג השוואה בין מודלים שונים תחת הכותרת של בינה כללית לא מצונזרת, עם פילטרים לפי אידיאולוגיות ומדדים שונים.
המבחנים שמוצגים בטבלה כוללים משימות יומיומיות ומעשיות ולא רק מדדי שפה יבשים. בין היתר רואים שם שגיאת מרחק בקילומטרים עבור זיהוי מיקום לפי תיאור סביבה בסגנון GeoGuesser, אחוזי שגיאה בהערכת משקל של חפצים לפי תיאור, וחלוקה לקטגוריות אידיאולוגיות עם הסבר על כל גישה.
מתאים ל
- בחירת מודל לא מצונזר
השוואת ביצועים בין מודלים פתוחים לפני שבוחרים מה להוריד ולהריץ מקומית.
- בדיקת יכולות הערכה
בחינה של דיוק מודלים בהערכת משקל וזיהוי מיקומים לפי המדדים המוצגים בטבלה.
- סינון לפי אידיאולוגיה
קריאת הגדרות על הטיות שונות ובדיקה איך כל מודל מתויג ביחס אליהן.
איפה זה נופל
זה לוח תוצאות בלבד, לא מקום שבו אפשר להתנסות בפועל במודלים או להזין להם פרומפטים. הנתונים מתארכים למרץ 2024, אז מודלים חדשים יותר שיצאו מאז פשוט לא מופיעים כאן. בנוסף, המבחנים הספציפיים כמו הערכת משקל או ניחוש מיקום לא בהכרח מעידים על יכולת כתיבה, תכנות או עבודה שוטפת עם טקסט.
שאלות
נפוצות
האם השימוש בלוח התוצאות כרוך בתשלום?
לא, הגישה חופשית לגמרי ישירות מהדפדפן. אין צורך להכניס אמצעי תשלום, לרכוש מנוי או לפתוח משתמש כדי לצפות בנתונים.
האם אפשר להריץ את המודלים עצמם דרך האתר?
לא, העמוד מציג רק השוואות וציונים שנמדדו מראש. כדי לעבוד עם המודלים שמופיעים ברשימה תצטרכו להוריד אותם ולהריץ אותם על המחשב שלכם.
האם הקבצים או החיפושים שלי נשמרים איפשהו?
המערכת הזו לא דורשת העלאת קבצים או מידע אישי. כל הפעולות מסתכמות בסינון ומיון של טבלה סטטית, כך שאין שום שמירה של תוכן פרטי.
האם אפשר להריץ את לוח התוצאות הזה על מחשב מקומי?
כן, הקוד כתוב בפייתון עם Dash ומבוסס על Docker תחת רישיון פתוח. אפשר למשוך את הקבצים ולהרים את לוח התוצאות אצלכם בלי בעיה מיוחדת.
איך משתמשים
נכנסים לעמוד בדפדפן בלי צורך להירשם או להתחבר לחשבון. הטבלה נטענת מיד ואפשר לסנן שורות, למיין עמודות לפי ביצועים וללחוץ על קטגוריות כדי לקרוא את הפירוט עליהן. הכל רץ על מעבד בסיסי פשוט, מה שאומר שאין כאן חישובים כבדים בזמן אמת. הטעינה מהירה כי מדובר בסך הכל בהצגת נתונים מוכנים מראש, בלי זמני המתנה ובלי תורים.
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה גם לצרכים מסחריים. מאחר שלא מעלים לכאן שום תוכן אישי או קבצים, אין שמירה או עיבוד של מידע שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים