hallucinations-leaderboard/leaderboard

מה זה

לא מזינים כאן טקסט חופשי כדי לקבל תשובה, אלא מעיינים בטבלה שמרכזת תוצאות בדיקה או מגישים מודל חדש להערכה. הממשק מאפשר לסנן מודלים לפי גודל, דיוק וסוג משקלים, ולחפש שמות ספציפיים בעזרת שורת חיפוש שתומכת בכמה שאילתות במקביל.

מאחורי הקלעים הלוח מתבסס על מאגרי נתונים שבודקים עובדתיות ונאמנות למקור, כמו PopQA, FaithDial, XSum ו־averitec. ההערכות נשענות על מודלים קיימים כמו FactKB, DeBERTa, ומשפחות Llama 2 כדי למדוד סטיות מהאמת בתשובות שהופקו.

מתאים ל

• בדיקת אמינות מודל

  השוואת ביצועי מודל שפה מול חלופות קוד פתוח כדי לראות מי מהם נוטה להזות פחות בעובדות.

• הגשת מודל למבחן

  הזנת מודל שאימנתם לתור ההערכות כדי לקבל מדידה של שיעור ההזיות מול מאגרי בדיקה מוכרים.

• סינון לפי חומרה ודיוק

  איתור מודלים קלים שמתאימים להרצה מקומית ושומרים על רמת עובדתיות סבירה.

איפה זה נופל

הבעיה המרכזית היא שהכלי תקול לחלוטין כרגע ומדווח על שגיאת ריצה, מה שמונע גישה לנתונים דרך הממשק. מעבר לזה, הלוח מציג ציונים במבחנים מוגדרים מראש באנגלית ולא בודק התנהגות מול קלט מורכב בזמן אמת. אין כאן שום אינדיקציה ליכולות או הזיות של המודלים בעברית.

איך משתמשים

במצב תקין פשוט נכנסים לעמוד ולוחצים על הלשוניות כדי לנווט בין הטבלה להגשת מודלים. אם רוצים להגיש מודל, מזינים את הנתיב שלו, גרסת ה־commit, סוג המשקלים ובסיס המודל בלשונית ההגשה ולוחצים על כפתור השליחה. הבקשה נכנסת לתור עיבוד שמוצג באקורדיונים ייעודיים לפי סטטוס של ממתין, רץ או הסתיים. כרגע האפליקציה נמצאת במצב שגיאת ריצה, כך שהיא לא עולה בדפדפן ואי אפשר להשתמש בה כלל עד שהמפתחים יתקנו אותה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה מסחרית. הגשת מודלים להערכה מבוססת על מאגרים ציבוריים בהאגינג פייס, כך שפרטי המודלים שנשלחים חשופים לפי ההגדרות שנקבעו בעת ההגשה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗