tokenizer-arena

tokenizer-arena הוא אפליקציה בקוד פתוח מאת xu-song. הוא פורסם ב־Hugging Face ב־2023-08-30.

לא דווח רישיון בכרטיס של tokenizer-arena. בהיעדר רישיון מפורש אין להניח שימוש מסחרי מותר.

— הורדות ו־61 לייקים לפי Hugging Face. מספרי הורדה מודדים שימוש אוטומטי לא פחות מאשר אנושי, אז הם סימן לפופולריות ולא מדד איכות.