Ultra-FineWeb-classifier

מה זה

במאגר 20 קבצים במשקל 3.9 GB סך הכול. הרישיון המדווח הוא apache-2.0, ושם של רישיון הוא לא תחליף לקריאה שלו. המספרים בעמוד נקראו מ־Hugging Face ב־2026-09-17.

איך מריצים

הפקודה למטה מושכת את המודל ישירות מ־Hugging Face. אין צורך להוריד קובץ ידנית.

pip install -U huggingface_hub
hf download openbmb/Ultra-FineWeb-classifier

הקבצים

20 קבצים במאגר, 3.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• classifiers/ultra_fineweb_zh.bin2.1 GB
• classifiers/ultra_fineweb_en.bin2.1 GB
• local_tokenizer/tokenizer.json7.5 MB
• assets/ultra-fineweb-pipeline.png279.1 KB
• assets/ultra-fineweb-logo.png141.1 KB
• README.md11.0 KB
• README_ZH.md8.7 KB
• scripts/local_scripts/infer_folder.py8.2 KB
• scripts/local_scripts/infer_single_content_demo.py6.5 KB
• scripts/local_scripts/infer_single_content.py3.6 KB
• .gitattributes2.5 KB
• scripts/local_scripts/single_content.txt1.8 KB
• scripts/spark_scripts/spark_infer.py1.6 KB
• scripts/spark_scripts/preprocess_content.py1.3 KB
• local_tokenizer/tokenizer_config.json887 B
• scripts/spark_scripts/fasttext_infer.py679 B
• scripts/local_scripts/load_and_test_tokenizer.py500 B
• local_tokenizer/special_tokens_map.json482 B
• local_tokenizer/chat_template.jinja459 B
• config.json201 B

הרישיון

הרישיון המדווח הוא apache-2.0. שם של רישיון הוא לא תחליף לקריאה שלו, במיוחד כשמדובר במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗