GPT
הוספת כלי
G

granite-guardian-4.1-8b

קוד פתוח

ibm-graniteapache-2.02026-04-16

  • transformers
  • safetensors
  • granite
  • text-generation
  • guardian

שופט בטיחות מבית יבמ שבודק פרומפטים ותשובות לפי כללים מוגדרים. הוא רלוונטי למי שצריך שכבת סינון מקומית ומהירה עם חוקים מותאמים אישית.

  • 8.4Bפרמטרים
  • 131,072טוקנים בהקשר
  • 15.6 GBמשקל הקבצים
  • 32,621הורדות בחודש

מה זה

הגרסה הזו עברה אימון ייעודי מעל מודל הבסיס של יבמ כדי לתפקד כבודק בינארי. במקום לפלוט טקסט חופשי, הוא מקבל שיחה או קריאת כלי, משווה אותה לקריטריון, ומחזיר כן או לא. אפשר להפעיל אותו במצב מהיר שפולט רק ציון, או במצב חשיבה שרושם את שרשרת ההיגיון לפני התוצאה. מעבר לזיהוי רגיל של פריצות, קללות והזיות במערכות שליפה, הדגש כאן הוא על בדיקת חוקים שהגדרתם לבד.

בבדיקות השוואה של עמידה בהנחיות מורכבות, המודל זינק בדיוק מאוזן מ־0.458 בגרסה הקודמת ל־0.844. הוא מזהה הזיות בקריאות לפונקציות בדיוק של 0.79, ומשיג ציון של 70.29 כמודל תגמול בבחירת תשובות במבחן JETTS, נתון שעוקף מודלים ייעודיים עד גודל שבעים מיליארד פרמטרים. זה הופך אותו לפתרון קומפקטי שלא דורש מפלצת של חומרה כדי לבצע בדיקות בקרת איכות על פלטים של מודלים אחרים.

מתאים ל

  • סינון קריאות לפונקציות

    הוא בודק ארגומנטים ושמות כלים כדי לוודא שסוכן לא ממציא פרמטרים שלא קיימים.

  • אימות תשובות RAG

    בדיקה אם המידע בתשובה מבוסס על המסמכים שנשלפו או שהמודל הוסיף עובדות מהראש.

  • אכיפת מגבלות فرمט

    שימוש ביכולת הגדרת החוקים כדי לבדוק אורך, תבנית, או איסור על שימוש במילים מסוימות.

איפה זה נופל

הכרטיס מדגיש במפורש שהמודל מיועד אך ורק למצב הניקוד המוגדר שלו. כל סטייה מהתבנית המובנית עלולה לייצר פלטים שגויים, לא בטוחים, או לחשוף אותו למתקפות עוינות שמבלבלות את השופט. בנוסף, המודל מאומן ומוערך באנגלית בלבד, ואין שום נתון על ביצועים בעברית. אל תבנו עליו כשופט לפלטים בעברית בלי לבדוק אותו עצמאית קודם, כי הוא עלול לפספס הטיות או הקשרים מקומיים לחלוטין. גם בזיהוי סיכוני בטיחות מחוץ להתפלגות הציון הכללי שלו נע סביב 0.79, מה שאומר שחלק מהתוכן הבעייתי עדיין מחליק.

שאלות
נפוצות

האם הוא יכול להחליף מודל שיחה רגיל?

לא, הוא לא מיועד לייצר תשובות למשתמשים. אם תנסו לנהל איתו שיחה, תקבלו שגיאות או פלטים לא צפויים, כי הוא אומן רק להחזיר דירוג של כן או לא על סמך קריטריון.

מה ההבדל המעשי בין מצב חשיבה למצב רגיל?

במצב חשיבה המודל מנמק ומסביר את ההחלטה בתוך תגיות ייעודיות לפני שהוא פולט את הציון, מה שעוזר לניפוח שגיאות ולהבנה. במצב רגיל הוא מדלג על ההסבר ומוציא רק את הציון הסופי, מה שחוסך זמן תגובה וטוקנים בייצור.

איך מגדירים לו חוקים אישיים?

מוסיפים לקלט בלוק עם הקריטריון שלכם בשפה חופשית, כמו בדיקת מידע רגיש או מספר משפטים. המודל בודק את הפלט האחרון ביחס לטקסט שהגדרתם ומחזיר אם הטקסט עומד בו או לא.

איך מריצים

המשקל הכולל של הקבצים עומד על 15.6 גיגה בפורמט bfloat16. כדי להריץ אותו דרך ספריות כמו transformers או vLLM תצטרכו כרטיס מסך בודד עם 24 גיגה זיכרון, כמו RTX 3090 או A10G, שמחזיק בנוחות את כל המשקלים יחד עם הקשר עבודה בסיסי. אם אתם מתכננים לנצל את מלוא חלון ההקשר העצום שמגיע ל־131,072 טוקנים, תצטרכו כרטיס עם זיכרון גדול משמעותית או חלוקה לכמה מעבדים גרפיים כדי שההקשר לא יגלוש מהזיכרון.

ההרצה דורשת שימוש בתבנית הפרומפט הקשיחה של שומרי גרניט, עם תגיות ייעודיות לבחירה בין מצב חשיבה למצב ישיר. אם אין לכם תשתית ענן או שרת מקומי קבוע עם כרטיס ייעודי, עדיף להשתמש בנקודת קצה מנוהלת במקום להחזיק שרת יקר שיעבוד רק מדי פעם עבור בדיקות בטיחות.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-guardian-4.1-8b")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 סטנדרטי וחופשי. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בשרתים פרטיים או להפיץ אותו הלאה, בלי לשלם תמלוגים ליבמ. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗