Schematron-3B

מה זה

מדובר במודל שתוכנן למשימה אחת בלבד, לקחת קוד HTML יחד עם סכמת ג'ייסון, ולהחזיר מבנה נתונים תקין שתואם לסכמה בלי טקסט מיותר מסביב. הוא מבוסס על Llama 3.2 ומגיע עם חלון הקשר של 131,072 טוקנים, שמאפשר להזין דפים ארוכים ועמוסים בלי לחתוך אותם מראש לחתיכות קטנות.

במבחני חילוץ עם שופט מבוסס מודל חיצוני, הוא קיבל ציון של 4.41 מתוך 5. מודל הבסיס בגודל הזה קיבל באותה בדיקה 2.24 בלבד, מה שמראה שהאימון הייעודי הפך אותו למדויק בהרבה. גרסת ה־8B מובילה עליו בקצת עם 4.64, אבל המפתחים מציגים את גרסת ה־3B כברירת המחדל החסכונית שנותנת כמעט את אותה רמת דיוק.

מתאים ל

• חילוץ נתונים מסריקת רשת

  הופך עמודי אתרים שלמים לנתונים מובנים לפי סכמה, ללא צורך בכתיבת קודי פירוק ידניים לכל אתר.

• הזנת מידע למערכות RAG

  ממיר תוצאות חיפוש גולמיות למבנה נתונים קומפקטי שחוסך טוקנים לפני שליחה למודל השפה המרכזי.

• טיוב דפי מוצר ומאמרים

  שולף שדות ספציפיים מתוך קבצי HTML עמוסים ישירות לפורמט שתואם למודלים מוגדרים בקוד.

איפה זה נופל

הוא יודע לטפל רק ב־HTML סטטי. אם האתר מסתמך על רינדור בצד לקוח עם ג'אווהסקריפט, תצטרכו לרנדר את הדף לפני שמזינים אותו למודל. בנוסף, אם הדף גדול במיוחד עדיין תצטרכו לקטוע אותו, וסכמות עם שדות מעורפלים יובילו לחילוץ שגוי, מה שמחייב תיאורים ברורים מאוד בהגדרת הסכמה. המפתחים גם ממליצים לנקות תגיות סקריפטים ועיצובים לפני ההזנה כדי להתאים לדאטה שבו הוא אומן.

איך מריצים

המשקל הכולל של הקבצים הוא שישה גיגהבייט בפורמט bfloat16, כך שכרטיס מסך בודד עם 8 עד 12 גיגהבייט זיכרון יספיק כדי להריץ אותו מקומית. הוא נתמך ישירות בספריית transformers, וההמלצה הרשמית היא לעבוד בטמפרטורה אפס כדי לקבל תשובות עקביות ותקינות.

אם יש לכם שרת ייעודי שפועל כל הזמן, שווה להחזיק אותו מקומית כדי לחסוך עלויות תעבורה. אם מדובר בסריקות מזדמנות או בנפחי עבודה שמשתנים באופן קיצוני, פנייה ל־API המרוחק של המפתחים תחסוך את הצורך בניהול חומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="inference-net/Schematron-3B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 6.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors1.5 GB
• tokenizer.json17.2 MB
• Banner.png195.7 KB
• tokenizer_config.json50.6 KB
• model.safetensors.index.json20.9 KB
• LICENSE20.8 KB
• README.md6.9 KB
• chat_template.jinja3.8 KB
• .gitattributes1.6 KB
• config.json840 B
• special_tokens_map.json454 B
• generation_config.json184 B

הרישיון

הרישיון הוא רישיון Llama 3.2 של מטא. הוא מאפשר שימוש מסחרי בחינם לרוב החברות, כל עוד מספר המשתמשים הפעילים החודשי לא חוצה את רף ה־700 מיליון. אם מפיצים את המודל או מוצר שמבוסס עליו, חובה לכלול עותק של הרישיון ולעמוד בהגבלות השימוש המקובלות של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗