Meta-Llama-Guard-2-8B

מה זה

במקום לענות על שאלות כלליות, הוא מסווג טקסטים לפי 11 קטגוריות סיכון של תקן MLCommons, כולל פשע, שנאה, פגיעה עצמית, קניין רוחני וייעוץ מומחה. הפלט שלו מציין אם התוכן בטוח או לא, ובאיזו קטגוריה הוא מפר את הכללים אם נמצאה בעיה.

הבדיקה מתבצעת על ידי חישוב ההסתברות של הטוקן הראשון בפלט, כאשר ערך מעל 0.5 קובע שהתוכן מסוכן. במבחנים הפנימיים של מטא הוא הציג ציון F1 של 0.915 עם שיעור התראות שווא של 0.040, פער משמעותי מול הדור הראשון ומול שירותי ענן מתחרים שנבדקו שם.

מתאים ל

• סינון קלט משתמשים

  בדיקת פרומפטים לפני שליחתם למודל שפה ראשי כדי לחסום בקשות פוגעניות מראש.

• בקרת פלט של מודלים

  סריקת תשובות שהמערכת שלכם מייצרת כדי למנוע דליפת מידע פרטי או תוכן לא הולם.

• תיוג תוכן לפי קטגוריות

  מיון אוטומטי של טקסטים בעייתיים לפי 11 סוגי סיכון מוגדרים לצורכי מעקב ודיווח.

איפה זה נופל

הנתונים מראים בעיה רצינית עם פספוסים. בקטגוריות קריטיות כמו פגיעה עצמית, עבירות מין, נשק להשמדה המונית וניצול ילדים, שיעור הפספוסים נע בין 26 ל־27 אחוזים במבחנים הפנימיים. המשמעות היא שיותר מאחת מכל ארבע פניות מסוכנות בנושאים האלה עלולה לעבור את הסינון.

בנוסף, הכרטיס מצהיר על תמיכה בשפה האנגלית בלבד. אם תזינו לו טקסטים בעברית, אתם עלולים לקבל תוצאות לא צפויות, ואי אפשר להסתמך עליו בסביבת ייצור ישראלית בלי בדיקות יסודיות.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון, שכן המשקלים תופסים כמעט 30 גיגה בפורמט המקורי לפני קוונטיזציה. הוא משתמש בספריית transformers הרגילה ודורש תמיכה בפורמט bfloat16 לחסכון במשאבים.

אם יש לכם שרת ייעודי או דרישת פרטיות מוחלטת שלא מאפשרת יציאת מידע, יש היגיון להרים אותו עצמאית. אם אתם בונים שירות קטן או שאין לכם כרטיסי מסך פנויים, להחזיק מודל של 8 מיליארד פרמטרים רק בשביל שכבת סינון זה עסק יקר ומסורבל לעומת קריאת API פשוטה.

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-Guard-2-8B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• original/consolidated.00.pth16.1 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• original/tokenizer.model2.2 MB
• tokenizer_config.json51.9 KB
• README.md29.4 KB
• model.safetensors.index.json23.9 KB
• LICENSE7.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes1.5 KB
• config.json654 B
• original/params.json212 B
• generation_config.json126 B
• special_tokens_map.json73 B

הרישיון

הרישיון הוא רישיון llama3 של חברת מטא. הוא מאפשר שימוש מסחרי ומחקרי, אך כפוף למדיניות השימוש המקובל שלהם ולתנאי הרישוי הספציפיים למשפחת המודלים הזו.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗