gliguard-LLMGuardrails-300M

מה זה

במקום להריץ מודל גנרטיבי כבד שמייצר תשובות ארוכות כדי להחליט אם טקסט מסוכן, המודל הזה בנוי כרשת קידוד בלבד שמתבססת על תשתית GLiNER2. מעבירים לו את הטקסט יחד עם רשימת קטגוריות שרוצים לבדוק, והוא מנתח את כולן במעבר חישובי יחיד. הוא מטפל בבדיקות של פרומפטים של משתמשים וגם בבדיקת התשובות של המודל שלכם, כולל זיהוי של סירוב לענות.

במדדי בטיחות מוכרים הוא מציג תוצאות צמודות למודלים גדולים ממנו בהרבה, עם ציון F1 ממוצע של 87.7 בפרומפטים ו־82.7 בתשובות. היתרון הגדול מול חלופות כמו LlamaGuard או ShieldGemma הוא מהירות נטו. לפי הנתונים, המבנה שלו מאפשר לרוץ עד פי 16.2 מהר יותר במעבר נתונים וזמן תגובה נמוך פי 16.6, מה שמאפשר לסנן קלט בלי לעכב את המשתמש.

מתאים ל

• סינון קלט משתמש

  חוסם ניסיונות עקיפה והזרקות פרומפטים ישירות על השרת המקומי בלי להוסיף שיהוי מורגש למשתמש.

• בדיקת פלט מודל שפה

  בודק אם התשובה של המודל מכילה תוכן פוגעני או שהיא מהווה סירוב תקין לפני שהיא נשלחת הלאה.

• סיווג אוטומטי של לוגים

  מעבד אצוות של שיחות משתמשים כדי לאתר ולתייג הפרות מדיניות ורעילות בתעבורה קיימת.

איפה זה נופל

המודל הוכשר וסווג רק באנגלית, כך שהוא לא יזהה התקפות או תוכן פוגעני בעברית או בשפות אחרות. הכרטיס מציין במפורש שהוא מפספס מתקפות עקיפה עדינות או חדשות לגמרי.

בנוסף, חלק מהמשימות מחזירות מספר תוויות במקביל ומסתמכות על סף החלטה שמוגדר ידנית. אם לא תכיילו את הסף הזה על הנתונים שלכם, תקבלו התראות שווא או פספוסים. הוא גם לא מתקן טקסט ולא מנהל שיחה, אלא מחזיר סיווגים בלבד.

איך מריצים

המודל שוקל 803 מגה־בייט ומכיל כ־208 מיליון פרמטרים, כך שהוא נכנס בקלות לכל שרת בסיסי ורץ ישירות על מעבד רגיל בלי להזדקק למעבד גרפי. ההרצה מתבצעת בפייתון דרך חבילת gliner2 באמצעות הפקודה classify_text או בעיבוד מקבילי עם batch_classify_text.

בגלל המשקל הנמוך שלו וזמני השיהוי הקצרים, אין שום סיבה לשלם על שירות חיצוני או להוציא קריאות רשת החוצה. שווה להחזיק אותו מקומית בתוך הצינור שלכם, אלא אם התשתית שלכם כבר מנוהלת לחלוטין בענן צד שלישי ללא גישה לקוד השרת.

pip install -U huggingface_hub
hf download fastino/gliguard-LLMGuardrails-300M

הקבצים

7 קבצים במאגר, 803 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors833.9 MB
• tokenizer.json8.3 MB
• README.md9.6 KB
• .gitattributes1.5 KB
• encoder_config/config.json895 B
• tokenizer_config.json711 B
• config.json283 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או כחלק ממוצר. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗