Shieldstral-1.0-3B
קוד פתוחmistralaiapache-2.02026-07-16
זה מסווג בטיחות קטן לטקסט ותמונות, שבודק תוכן מול הנחיות שתגדירו בעצמכם במקום קטגוריות קבועות מראש. הוא שולף תשובה בריצה בודדת בלי לבזבז משאבי חישוב.
- 3.8Bפרמטרים
- 262,144טוקנים בהקשר
- 14.4 GBמשקל הקבצים
- 15,305הורדות בחודש
מה זה
במקום לתת רשימה סגורה של נושאים כמו אלימות או שנאה, מספקים למודל שאלה בטקסט חופשי, כמו האם יש כאן תוכן מסוכן, והוא מחזיר כן או לא לצד ציון הסתברות רציף. הוא בנוי על בסיס Ministral של 3.8 מיליארד פרמטרים וכולל מפענח תמונה מובנה ממשפחת Pixtral. זה אומר שאפשר לבדוק פרומפטים של משתמשים, תשובות של מודלים אחרים ותמונות באותו ממשק בדיוק.
היתרון הגדול שלו מול מודלים בגודל דומה הוא הגמישות בזמן ריצה, בלי צורך באימון מחדש כדי להוסיף חוק עסקי. במבחני סיווג תמונות כמו VLGuard הוא קיבל תוצאת F1 של 97.7 אחוז ועקף מודלים של 7 מיליארד פרמטרים. גם במבחני פרומפטים בטקסט כמו ToxicChat הוא השיג 84.1 אחוז, מעל מסווגים של 20 מיליארד פרמטרים, כל עוד מודדים עם סף החלטה מתאים.
מתאים ל
- בדיקת פרומפטים של משתמשים
סינון קלט טקסטואלי בזמן אמת דרך שאלת כן או לא מותאמת אישית.
- סינון תמונות מועלות
המפענח המובנה מאפשר לבחון קבצי תמונה ישירות בלי מודל נפרד.
- אימות סירובי מודל
זיהוי מקרים שבהם מודל השיחה סירב לענות, לצורך מדידה וניטור.
איפה זה נופל
היצרן ממליץ להישאר בטווח של עד 32,000 טוקנים, למרות שהארכיטקטורה מוגדרת תיאורטית לחלון של 256 אלף טוקנים. מעבר לזה, הטקסטים שלו לא כוללים עברית ברשימת השפות הרשמית, אלא שפות אירופיות, סינית, יפנית, קוריאנית, ערבית ורוסית. טקסטים בעברית עלולים לתת תוצאות שגויות. המודל מתקשה מול טקסט מוסווה, שיטות קידוד עוקפות ומסמכים ארוכים במיוחד, ויש לבדוק ידנית את סף הציון כדי למנוע חסימות שווא.
שאלות
נפוצות
האם הוא מזהה כמה בעיות במקביל בבדיקה אחת?
עדיף שלא. המודל תוכנן לענות על שאלת כן או לא יחידה בכל קריאה. אם רוצים לסנן לפי כמה קטגוריות שונות, מריצים קריאה נפרדת לכל חוק או שואלים שאלה כוללת על בטיחות הקלט תוך פירוט הנושאים בהוראות.
איך מחלצים החלטה של בטוח או לא בטוח?
הוא מייצר טוקן בודד של yes או no. שולפים את ההסתברויות של שני הטוקנים האלה מסוף הריצה, מנרמלים אותן לציון שנע בין אפס לאחת, וקובעים סף מספרי שמעליו חוסמים את התוכן.
איך מריצים
המשקל הכולל של הקבצים עומד על 14.4 גיגה בייט, ובפורמט BF16 הוא נכנס לכרטיס מסך בודד עם 16 גיגה זיכרון. אפשר להרים אותו ישירות עם vLLM או SGLang, ומי שרוצה לחסוך עוד יכול להמיר אותו לפורמט GGUF ולהריץ דרך llama.cpp, כולל קוונטיזציה לחלק של הטקסט תוך שמירה על משקלי התמונה בנפרד.
אפשר להשתמש גם בספריית Transformers הרגילה דרך פייתון. אם אתם מעבדים נפחים נמוכים בלבד או שאין לכם שרת עם מאיץ גרפי זמין כל הזמן, עדיף לפנות לנקודת קצה מנוהלת במקום להחזיק תשתית דולקת בשביל מודל של ריצת טוקן בודד.
pip install -U huggingface_hub hf download mistralai/Shieldstral-1.0-3B
הקבצים
12 קבצים במאגר, 14.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמשקלים זמינים תחת רישיון Apache 2.0 המלא. מותר להשתמש במודל למוצרים מסחריים, להטמיע אותו בקוד סגור ולשנות אותו ללא עלות. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ומניעת שימוש שמפר זכויות של צד שלישי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים