tokenizer-arena

מה זה

מזינים טקסט חופשי ובודקים כיצד מנגנוני טוקניזציה שונים חותכים אותו, ברמת התווים או ברמת הבייטים. הממשק מחולק לשלוש לשוניות נפרדות שכוללות אזור בדיקה חופשי, מסך לבדיקת דחיסה, ומסך ייעודי לניתוח תווים. המערכת תומכת גם בממשק דו לשוני באנגלית ובסינית בלחיצת כפתור אחת.

מאחורי הקלעים הקוד מתבסס על נתונים שנלקחו מדאטהסט cc100 ועל קבצי עזר שמחשבים מראש נתוני דחיסה ודגימות סטטיסטיות. התוצאה מציגה את התנהגות החלוקה של כל טוקנייזר ומאפשרת לראות בפועל איזה מודל שומר על ייצוג יעיל יותר מול טקסט נתון.

מתאים ל

• השוואת יעילות מילונים

  בדיקה של יחס הדחיסה בין טוקנייזרים שונים מול אותו טקסט קלט.

• ניתוח פירוק תווים

  בחינה כיצד מילים מתפצלות ליחידות משנה ברמת התו וברמת הבייט.

• חקירת טקסט רב לשוני

  מעבר בין אנגלית לסינית כדי לבדוק איך שפות שונות מיוצגות בכל כלי.

איפה זה נופל

הכלי מציג רק פירוק טוקנים ויעילות דחיסה, ולא מריץ מודלי שפה מלאים או מייצר טקסט. הבדיקות שמתבססות על נתוני cc100 מוגבלות לאופי הדגימות שהוטענו מראש, כך שאי אפשר להסיק מהן על ביצועי מודל כוללים אלא רק על יעילות המילון.

איך משתמשים

נכנסים ישירות בדפדפן בלי צורך בהרשמה או התחברות. בוחרים לשונית, מקלידים או מדביקים טקסט, ומריצים את הבדיקה כדי לראות את התוצאות. השרת פועל על חומרת מעבד בסיסית, מה שאומר שטוקניזציה של קטעים קצרים תסתיים תוך שניות, אבל טקסטים ארוכים עלולים לקחת קצת יותר זמן.

הרישיון

הרישיון של הפרויקט לא דווח במאגר. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקוד או בתוצרים, וכדאי לבדוק את הריפו בגיטהאב לפני שמסתמכים עליו.

הרישיון המלא ב־Hugging Face ↗