guardrails-arena

מה זה

האפליקציה פועלת במתכונת זירה שבה מקלידים שאילתות שמנסות לעקוף הגנות, כמו פריצות ג'יילברייק או ניסיונות לחלץ מידע מוגן. בצד השני מקבלים שתי תשובות במקביל משני מודלים שונים, בלי לדעת מראש מי ענה מה, ומצביעים על המודל ששמר טוב יותר על כללי האבטחה.

מאחורי הקלעים הקוד מתחבר לשרת חיצוני באמצעות מפתח ייעודי ומגריל מודלים מובילים בקוד פתוח, ספציפית Llama 2 בגרסת 70 מיליארד פרמטרים וכן Mixtral 8x7B. המערכת מזריקה פרומפטים מובנים של מערכת, מודדת את תגובות המודלים לניסיונות עקיפה, ומציגה לוח תוצאות שמרכז את הדירוגים שנצברו.

מתאים ל

• בדיקת עמידות מודלים

  מזינים שאילתות מתוחכמות כדי לבדוק אילו מנגנוני סינון חוסמים הוראות זדוניות בצורה יעילה יותר.

• השוואת הגנות פרטיות

  מנסים לחלץ פרטים אישיים מהפרומפט הראשוני כדי לראות איזה מודל שומר על המידע המוגן.

• צפייה בדירוג הקהילה

  בודקים את לוח התוצאות בממשק כדי לראות מי מהמודלים הוביל במבחני האבטחה של משתמשים אחרים.

איפה זה נופל

הבעיה המיידית היא שהמרחב מסומן במצב של כשל בהידור, כך שההדגמה כלל אינה עולה. בנוסף, השוואה כזו לא מראה עמידות מוחלטת אלא רק התנהגות מול שאילתות ספציפיות, והיא נשענת על שרת מרוחק כך שזמני התגובה תלויים לחלוטין ברשת.

איך משתמשים

נכנסים לממשק, כותבים שאילתת פריצה בתיבת הטקסט ולוחצים על שליחה. אפשר לשנות פרמטרים כמו טמפרטורה, אורך פלט מקסימלי וערכי דגימה. אין צורך בחשבון כדי להצביע, אבל נכון לעכשיו המרחב נמצא בשגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי תיקון של הקוד.

הרישיון

הפרויקט מפורסם תחת רישיון שימוש לא מסחרי מסוג CC BY-NC-SA 4.0. המשמעות היא שמותר לבחון את הקוד ולשתף אותו עם ייחוס מתאים, אך אסור להשתמש בו לצרכים מסחריים וכל נגזרת חייבת להישאר באותו הרישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗