llm-perf-leaderboard

מה זה

אין כאן תיבת טקסט שמריצה פרומפטים שלכם. אתם מגיעים כדי לעיין בנתונים קיימים שנמדדו מראש באמצעות סקריפט אחיד. המערכת מציגה טבלאות וגרפים שמשווים בין מודלים לפי חומרה, סביבות הרצה ואופטימיזציות שונות.

הבדיקות נשענות על הכלי Optimum-Benchmark. התוצאות מבוססות על הרצה בודדת עם גודל אצווה של אחד, קלט באורך 256 טוקנים ויצירה של 64 טוקנים, לאורך עשרה סיבובים ולפחות עשר שניות. הציון הכללי נלקח מלוח המודלים הפתוחים, צריכת החשמל נמדדת בקילוואט שעה עם CodeCarbon, וצריכת הזיכרון נבדקת בשלוש רמות שונות דרך PyTorch ו־PyNVML.

מתאים ל

• השוואת זמני תגובה

  בדיקת זמני ההמתנה וקצב הפקת הטוקנים בין מודלי שפה שונים על כרטיס מסך בודד.

• בדיקת דרישות זיכרון

  צפייה בזיכרון המרבי שהמודל צורך בפועל כדי לדעת אם הוא ייכנס לחומרה שלכם.

• הערכת צריכת אנרגיה

  השוואת צריכת החשמל של תצורות הרצה ואופטימיזציות שונות לפי מדדי CodeCarbon.

איפה זה נופל

הלוח לא מריץ בדיקות ביצועים בזמן אמת עבור הקוד שלכם. כל המספרים נמדדו על כרטיס מסך בודד ועל תרחיש ספציפי וקבוע מראש של קלט קצר ופלט קצר. אם עומס העבודה שלכם כולל הקשרים ארוכים או אצוות גדולות, התוצאות כאן לא ישקפו את מה שתקבלו בפועל.

איך משתמשים

נכנסים לדפדפן והכל מוצג מיד, בלי צורך להתחבר או להירשם. הממשק מחולק ללשוניות לפי הגדרות חומרה, ובתוכן תמצאו את לוח התוצאות וכלי לסינון המודל המתאים. מכיוון שהדף רץ על מעבד בסיסי ומציג נתונים מוכנים ממאגר, המעבר בין הלשוניות והטעינה מיידיים לחלוטין.

הרישיון

הקוד פתוח תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי. אין כאן העלאת קבצים או שמירת נתוני משתמש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗