arabic-tokenizers-leaderboard

מה זה

הממשק מציג טבלת השוואה ותרשים עמודות שמדרגים טוקנייזרים לפי כמות הטוקנים הכוללת שהם מייצרים מתוך קובץ הנתונים rasaif-translations, שנבחר כמייצג ערבית ספרותית. הקוד טוען גם טקסטים מקבילים בערבית קלאסית ואנגלית, ציטוטים וערכים מוויקיפדיה במרוקאית כדי לבחון סגנונות שונים של השפה.

בטאב נפרד אפשר לבחור טוקנייזר מתוך רשימת המודלים, להזין טקסט חופשי בערבית ולקבל אותו בחזרה ברכיב מודגש שמציג בדיוק איך המשפט פוצל לחלקים. בין המודלים שנבדקים תמצאו את Qwen2.5-72B, AceGPT, גרסאות של Aranizer, Phi-3-mini ו־bert-base-arabic, ובנוסף קיימת תיבת טקסט להוספת שמות של מודלים חדשים לבדיקה.

מתאים ל

• השוואת יעילות טוקניזציה

  בדיקה איזה מודל מייצר הכי מעט טוקנים על טקסט ערבי מסוים כדי לחסוך עלויות שימוש במודלים.

• הדגמת חלוקת מילים

  הזנת משפט בערבית כדי לראות ויזואלית איך מודל ספציפי חותך מילים לשברי מילים.

• בדיקת מודל חדש

  הזנת שם של מודל נוסף בתיבת ההוספה כדי לבחון איך הטוקנייזר שלו מתמודד מול השאר.

איפה זה נופל

המדד בלוח מתבסס בעיקר על דאטהסט בודד של ערבית ספרותית, כך שתוצאה טובה שם לא מבטיחה יעילות זהה בטקסטים מדוברים, בניבים מקומיים או בעברית. בנוסף, מספר טוקנים נמוך יותר מעיד על דחיסה טובה יותר אבל לא אומר דבר על איכות ההבנה של המודל עצמו או על היכולת שלו לייצר תשובות נכונות.

איך משתמשים

נכנסים לעמוד בלי צורך בהרשמה או התחברות. אם רוצים לבדוק משפט, עוברים לטאב הבדיקה, בוחרים מודל מהתפריט, מדביקים את הטקסט ולוחצים Submit.

האפליקציה רצה על חומרת cpu-basic פשוטה. מכיוון שמדובר בהרצה של טוקנייזרים ולא ביצירת טקסט מלא עם מודלי שפה ענקיים, הפעולה לא דורשת כרטיס מסך חזק והתוצאה חוזרת מהר, אלא אם מבקשים לחשב מודל חדש על פני כל הדאטהסט.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. הטקסטים שאתם מזינים בממשק נשלחים לעיבוד בשרת של Hugging Face כדי להחזיר את החלוקה לטוקנים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗