leaderboard-results-to-modelcard
רץ בדפדפןWeyaxiרישיון לא דווח2023-11-15
הכלי פותח בקשת משיכה עם תוצאות מבחני ביצועים ישירות לדף המודל שלכם בהאגינג פייס. מתאים למי שפרסם מודל ורוצה להציג בו את המספרים מהלוח הרשמי בלי להעתיק ידנית.
- —הורדות בחודש
- 54לייקים
מה זה
מזינים קישור או מזהה של מודל שרץ בלוח המבחנים של האגינג פייס, ומקבלים עדכון ישיר לכרטיס המודל דרך בקשת משיכה. המערכת מושכת את נתוני המבחנים ממסדי הנתונים של הלוח, כולל מבחנים כמו IFEval, MMLU-Pro, GPQA, MuSR ומתמטיקה, ומעבדת אותם לטקסט מסודר שמוכן להטמעה.
בקוד רואים שימוש ישיר ב־HfApi כדי לגשת למאגר היעד ולבצע את פעולת הרישום. במקום לחפש ידנית ציונים בלוחות התוצאות השונים ולערוך קבצי מרקדאון, התהליך אמור לחבר את כל הנתונים יחד ולפתוח את השינוי אוטומטית במאגר המודל שלכם.
הממשק מכיל שדה קלט פשוט למזהה המודל ותיבת פלט שמציגה את המצב או הודעות שגיאה. יש בו גם כפתור התחברות לחשבון כדי לקבל הרשאות מתאימות לביצוע הפעולה מול המאגרים ברשת.
מתאים ל
- עדכון דף מודל
פתיחת בקשת משיכה אוטומטית שמוסיפה את ציוני המבחנים הרשמיים לכרטיס המודל שלכם.
- איסוף תוצאות מבחנים
שאיבת נתונים ממאגרי מבחנים מוכרים כמו MMLU-Pro ומתמטיקה ישירות מלוח התוצאות.
- חיבור אוטומטי למאגר
שימוש בהרשאות החשבון כדי לבצע שינויים בלי לפתוח ידנית ענפים וקבצים במאגר.
איפה זה נופל
נכון לעכשיו אי אפשר להשתמש בכלי כי הוא נמצא במצב שגיאת ריצה. מעבר לזה, הקוד כולל חסימה מפורשת נגד הצפת בקשות ומחזיר שגיאה ישירה במקרים מסוימים. הכלי גם לא בודק בעצמו את ביצועי המודל, אלא רק מנסה למשוך ציונים שכבר קיימים במאגרי המבחנים החיצוניים.
שאלות
נפוצות
האם השירות עובד כרגע בחינם?
הגישה לעמוד עצמו פתוחה בחינם לכל משתמש רשום. עם זאת, נכון לעכשיו הוא מדווח במצב של שגיאת ריצה ולכן לא ניתן להפעיל אותו בפועל.
למה מופיעה שגיאה כשאני לוחץ על כפתור השליחה?
בקוד המקור קיימת בדיקה מפורשת שעוצרת את התהליך ומציגה התראה נגד הצפה. ייתכן שהמפתח השבית את הגישה באופן יזום כדי למנוע עומס.
האם המערכת מריצה בדיקות ביצועים למודל שלי?
לא, אין כאן הרצה של מבחנים או שימוש בחומרה גרפית למדידת המודל. התוכנה מיועדת רק לאתר ציונים שכבר חושבו בלוח המבחנים ולהעביר אותם למסמך התיעוד.
איך משתמשים
נכנסים לעמוד, מתחברים לחשבון שלכם בעזרת כפתור ההתחברות הייעודי, ומדביקים את מזהה המודל בתיבת הקלט. לאחר מכן לוחצים על כפתור השליחה הראשי וממתינים לתשובה בתיבת הפלט. השרת מוגדר על חומרת מעבד בסיסית, מה שאומר שהפעולות עצמן מבוססות רשת ולא דורשות כוח חישוב גרפי כבד.
הרישיון
היוצר לא הגדיר רישיון שימוש בקוד. מבחינה חוקית זכויות היוצרים שמורות לו במלואן, מה שאומר שאי אפשר להעתיק או להפיץ את הקוד לפרויקטים אחרים ללא אישור מפורש.