smol-worldcup — הדגמה

מה זה

האפליקציה מרכזת דירוג של 18 מודלים קטנים ומאפשרת להריץ הערכה על מודלים נתמכים. במקום טקסט חופשי, אתם בוחרים מודל מתוך רשימה כמו Llama-3.2-1B, Qwen3-1.7B, או GPT-OSS-20B, ומקבלים דוח ציונים מפורט על גבי לוח מעקב חי.

מאחורי הקלעים רץ מערך של 125 שאלות ממערך נתונים ייעודי, שמחולק למדדי יושרה ואינטליגנציה. המבחן בודק זיהוי מלכודות הזיה, כיול ביטחון, כתיבת קוד, מתמטיקה ויכולות שפה. 75 מהשאלות נבדקות בצורה אוטומטית לחלוטין על בסיס פלט JSON מובנה, והשאר נבדקות באמצעות שופט מבוסס מודל שפה.

מתאים ל

• בחירת מודל לחומרת קצה

  סינון מודלים לפי דרישות זיכרון בפועל, החל ממכשירים זעירים של פחות מ־2GB ועד מחשבים ניידים.

• מדידת נטייה להזיות

  בדיקת עמידות המודל בפני המצאת מידע וזיהוי שאלות מלכודת על אנשים או מאמרים פיקטיביים.

• השוואת ביצועים מול גודל

  ניתוח היחס בין נפח המודל לקצב פליטת הטוקנים ויכולות ההיגיון שלו.

איפה זה נופל

הממשק אינו מריץ חישוב מקומי של משקלי המודלים אלא מסתמך על שירותי צד שלישי, כך שהמהירות הנמדדת מושפעת מספק הענן ולא מחומרת הקצה שלכם. מודלים שמשתמשים בתגי מחשבה נוטים להיכשל בבדיקות האוטומטיות בגלל שיבוש מבנה ה־JSON, גם כשהתשובה נכונה. בנוסף, לא ניתן להזין טקסט חופשי או לבדוק תרחישים פרטיים מחוץ למאגר השאלות הקבוע מראש.

איך משתמשים

בוחרים מודל מתיבת הבחירה של הממשק ולוחצים על כפתור תחילת ההערכה. המערכת מפעילה תהליך רקע ששולח שאילתות דרך HF Inference API ומעדכנת תיבת יומן פעילות כל שלוש שניות. החומרה שהוגדרה היא מעבד בסיסי בלבד, אך כיוון שהפניות מתבצעות לספקי API חיצוניים, זמן הריצה תלוי במהירות המענה של אותם שרתים על פני 125 שאלות.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, עריכה והפצה מסחרית תחת תנאי הרישיון. הקריאות מועברות לממשקי מודלים חיצוניים, כך שחלים עליהן גם תנאי השימוש של ספקי התשתית ומפתחי המודלים עצמם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗