enterprise_scenarios_leaderboard

מה זה

הממשק מציג טבלה עם ציוני מודלים לפי משימות ומדדים שונים. אתם יכולים לחפש מודל לפי שם, לסנן לפי דיוק משקולות כמו float16 או שמונה ביט, לבחור גודל מודל, ולהציג או להסתיר עמודות ספציפיות כדי לקבל השוואה ממוקדת.

המידע בטבלה נשען על קובצי תוצאות שנטענים ממאגרי נתונים ומסודרים מראש לפי פורמט ג'ייסון שכולל את מזהה המודל, משימות ההערכה והציונים. הלשונית הנוספת מאפשרת להגיש מודל חדש מתוך Hugging Face על ידי הזנת נתיב המאגר, ה־commit הרצוי, סוג המודל ומשקולות הבסיס, והכלי רושם את הבקשה אל תוך תור הערכות שמנוהל במאגר נתונים חיצוני ייעודי.

מתאים ל

• השוואת ביצועי מודלים

  סינון ומיון של מודלי שפה לפי מדדי ביצוע שונים בתרחישים עסקיים.

• הגשת מודל לתור בדיקה

  הזנת פרטי מודל ממאגר ציבורי כדי להכניס אותו לתור ההערכה של הלוח.

• מעקב אחר סטטוס הערכות

  בדיקת מצב המודלים בלשוניות הבדיקה שמציגות משימות שהסתיימו או רצות.

איפה זה נופל

החיסרון המיידי הוא שהיישום מושבת לחלוטין עקב שגיאת בנייה, כך שאי אפשר לגשת אליו או לבצע בדיקות בפועל. מעבר לזה, הממשק עצמו לא מריץ את החישובים בזמן אמת ולא מעריך את הטקסטים שלכם במקום, אלא רק מציג תוצאות שכבר חושבו מראש על תרחישים ספציפיים. אין פה אפשרות לבדוק מודלים פרטיים שלא נמצאים ב־Hugging Face, ואין שום מידע על התנהגות במשימות מחוץ לאותם תרחישים שנבדקו.

איך משתמשים

כרגע אין מה ללחוץ, כי הדף נמצא במצב שגיאת בנייה והוא לא עולה בדפדפן. במצב תקין המערכת רצה על חומרת מעבד משודרגת ומציגה את הנתונים ישירות דרך לשוניות גרדיו בלי דרישה להתחברות מראש לצורך צפייה. כדי לשלוח מודל לבדיקה ממלאים את שדות הטקסט של שם המודל, הגרסה והפרמטרים בטופס, לוחצים על כפתור השליחה, והבקשה נכנסת לרשימת המתנה שמציגה מודלים שסיימו, מודלים שרצים ומודלים שממתינים בתור.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והפצה שלו, בכפוף לשמירה על הודעות זכויות היוצרים ומסמכי הרישיון המקוריים. פרטי הבקשות והמודלים שמוגנים לשליחה מתועדים במאגרי נתונים ציבוריים בפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗