Open-Financial-LLM-Leaderboard

מה זה

לא מזינים כאן טקסטים או מסמכים שלכם, אלא מעיינים בטבלה שמציגה ציונים של מודלים קיימים. מקבלים השוואה לפי שבע קטגוריות: חילוץ מידע מדוחות, ניתוח טקסט, מענה לשאלות, יצירת טקסט, ניהול סיכונים, חיזוי מגמות וקבלת החלטות.

המערכת מבוססת על בחינת זירו-שוט, כלומר בדיקת המודלים על נתונים פיננסיים בלי אימון מוקדם עליהם. הציונים נמדדים במדדים כמו דיוק, מדד F1, מדד ROUGE ומקדם מתאם מתיוז, תוך שימוש במאגרי נתונים ייעודיים כמו open-llm-leaderboard/contents ו־TheFinAI/greek-contents.

מתאים ל

• בחירת מודל לתחזיות שוק

  סינון הטבלה לפי קטגוריית חיזוי מגמות כדי לראות איזה מודל הגיע לדיוק הגבוה ביותר.

• השוואת מודלים לחילוץ מידע

  בדיקת ציוני F1 במשימות של שליפת ישויות ונתונים מתוך דוחות פיננסיים.

• בחינת ניתוח סיכונים

  איתור מודלים שהפגינו ביצועים חזקים במשימות הערכת סיכוני אשראי ללא אימון מוקדם.

איפה זה נופל

זהו לוח תוצאות בלבד, ולא ממשק להרצת פרומפטים או לבדיקת מודל על מסמכים פרטיים שלכם. כל ההערכות מתבצעות באנגלית, כך שאין כאן מידע על ביצועים בעברית או על רגולציה ישראלית. בנוסף, ההגשות נבדקות ידנית כרגע, ולכן המאגר מתעדכן רק כשהצוות מעלה קבצים חדשים.

איך משתמשים

נכנסים לעמוד וצופים בנתונים ישירות בדפדפן, בלי צורך בחשבון או בהתחברות. אין כאן מודל שמחשב תשובות בזמן אמת, אלא קריאה של קובצי תוצאות שמסודרים מראש בפורמט JSON, ולכן התצוגה עולה מיד. הכלי רץ על מעבד בסיסי, שמספיק לסינון ומיון של טבלאות.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בקוד. אין פה העלאת קבצים או שמירת נתוני משתמשים בעת הצפייה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗