Yet_Another_LLM_Leaderboard

מה זה

מזינים או בוחרים מזהי מודלים מתוך Hugging Face, ומקבלים השוואה חזותית של הנתונים שלהם באמצעות טבלאות של pandas וגרפים של plotly. הקוד מושך את המידע על כל מאגר בעזרת הספרייה הרשמית של huggingface_hub, מחלץ את נתוני המודל, ומעביר אותם לפונקציה פנימית בשם create_yall שמייצרת את הדירוג.

הממשק כולו רץ על בסיס streamlit בפריסה רחבה, כך שהמידע מוצג בצורה מרוכזת ולא בטור צר. אין כאן הרצה של המודלים עצמם או בדיקות חיות של טקסט, אלא איסוף ועיבוד של מדדים קיימים שהוגדרו מראש במאגרים כדי לחסוך מעבר ידני בין דפי מודלים שונים ברשת.

מתאים ל

• השוואת ביצועי מודלים

  בדיקת ציונים ומדדים של מודלי שפה פתוחים זה מול זה בטבלאות ובגרפים לפני בחירת ארכיטקטורה.

• שליפת נתוני מאגרים

  איסוף מהיר של פרטי מודל מתוך Hugging Face כדי לראות הגדרות ומאפיינים רשמיים במקום אחד.

• הצגה גרפית לדוחות

  יצירת תרשימי plotly על בסיס נתוני הדירוג לצורך סקירה טכנית או הצגת חלופות בצוות.

איפה זה נופל

זה רק לוח השוואה ולא סביבת הרצה, כך שאי אפשר לבדוק כאן פרומפטים בעברית או לראות איך המודל מייצר טקסט בפועל. אם מזינים מזהה מודל שגוי או מאגר פרטי, הקוד תופס שגיאות מסוג RepositoryNotFoundError ופשוט לא יציג נתונים. הדירוג נשען על המידע שחולץ מהמאגרים ולא מעיד על מהירות התגובה או על צריכת הזיכרון של המודל על המחשב שלכם.

איך משתמשים

נכנסים לדפדפן והעמוד נטען ישר, בלי צורך להירשם או להזין מפתח גישה. ממשק streamlit מציג את הנתונים וטוען גרפים של plotly בהתאם למה שמבקשים מהמאגרים של Hugging Face.

הקוד רץ על חומרת cpu-basic בתוך docker. זה אומר שעיבוד הטבלאות וציור הגרפים מתבצעים תוך שניות בודדות, כי אין כאן עומס חישובי של בינה מלאכותית, אבל אם השרת של Hugging Face עמוס ייתכן עיכוב קל במשיכת פרטי המודלים.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. מאחר שרק מציגים נתונים פומביים ולא מעלים קבצים פרטיים, אין חשיפה של מידע אישי לרשת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗