Qwen3GuardTest
קוד פתוחQwencc-by-nc-4.02025-10-10
יש כאן גם סקירה על Qwen עצמו.
המאגר כולל שיחות עם מודלי חשיבה ותיוג אנושי שמזהה בדיוק מתי הפלט הופך למסוכן. הוא מתאים למי שרוצה לבדוק כלי סינון בזמן אמת או לבחון תהליכי חשיבה פנימיים.
- 485הורדות בחודש
- 34לייקים
מה זה
הנתונים מחולקים לשלושה קבצים עיקריים שכוללים טקסטים שנוצרו על ידי מודלים שונים, בהם גרסאות של Qwen3 ושל GLM. הפרומפטים נלקחו ממבחן Beavertails כדי לייצר תוכן בעייתי. בתוך המאגר יש דוגמאות שמכילות את שרשרת החשיבה המלאה, לצד דוגמאות של תשובות סופיות בלבד.
החלק שנקרא thinking כולל 1,059 רשומות עם תהליך החשיבה. החלק thinking_loc כולל 569 רשומות, וכולן מוגדרות לא בטוחות, עם מיקום מדויק של המשפט הבעייתי הראשון. החלק השלישי, response_loc, כולל 813 רשומות של תשובות סופיות בלבד, וגם בו כל הרשומות מסומנות כלא בטוחות וכוללות אינדקסים להתחלה ולסיום של התוכן הבעייתי.
במקום לתייג ברמת הטוקן הבודד, הבודקים חילקו את הפלט למשפטים וסימנו ידנית את המשפט הראשון שבו התוכן הפך לבעייתי. הרשומות כוללות את היסטוריית השיחה, סוג הפגיעה, טוקנים שנוצרו עם הטוקנייזר של Qwen3, ותיוג בינארי של בטוח או לא בטוח.
מתאים ל
- בדיקת סינון בזמן אמת
מדידת מהירות התגובה של מסננים בסטרימינג על בסיס אינדקס המשפט הבעייתי הראשון.
- הערכת תהליכי חשיבה
בדיקה אם מודל שומר על כללי בטיחות גם בטיוטות הפנימיות ובשרשראות החשיבה שלו.
- מיון סוגי פגיעות
בחינת יכולת הסיווג של בודקי בטיחות לפי קטגוריות הפגיעה שמוגדרות ברשומות.
איפה זה נופל
היוצרים מציינים במפורש שההסכמה בין המתייגים ברמת הטוקן הייתה נמוכה מאוד, ולכן הם נאלצו להסתפק בסימון ברמת המשפט השלם. בנוסף, חלקי המיקום כוללים אך ורק דוגמאות לא בטוחות, כך שאי אפשר להשתמש בהם לבדם כדי למדוד זיהויים שגויים של תוכן תקין.
המקורות מוגבלים לפרומפטים מ־Beavertails ולתשובות מארבעה מודלים בלבד. הכרטיס לא מציין תמיכה בשפות שאינן אנגלית, והנתונים לא נבדקו על מגוון רחב של תרבויות או הקשרים מקומיים, כולל עברית. לפני שמסתמכים עליו בבדיקות, צריך לקחת בחשבון שמדובר בסט בדיקה צר ולא במאגר מקיף לכל סוגי הפגיעות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, מה שאוסר כל שימוש מסחרי ישיר. אפשר להשתמש בו רק למחקר, ניסויים פנימיים או הערכת ביצועים באקדמיה.
האם יש במאגר נתונים בעברית?
הכרטיס לא מזכיר עברית כלל. הפרומפטים הגיעו מ־Beavertails והמודלים שנבדקו יצרו תוכן באנגלית, ולכן המאגר לא מתאים להערכת סינון בשפה העברית.
איך נאספו התוויות של זמני הפגיעה?
החוקרים פיצלו את הטקסט למשפטים והעבירו לבודקים אנושיים. הבודקים סימנו ידנית את המשפט הראשון שבו התוכן נהיה בעייתי, מאחר שתיוג ברמת הטוקן היה לא עקבי.
במה הוא שונה ממאגרי בטיחות רגילים?
רוב המאגרים בודקים רק את התשובה הסופית. כאן יש תיוג ייעודי לתהליך החשיבה הפנימי של המודל, יחד עם נקודת הזמן המדויקת שבה מופיע תוכן בעייתי.
איך טוענים
הקבצים יושבים בפורמט jsonl ישירות במאגר, ואין צורך בבקשת גישה מיוחדת כדי להוריד אותם. הנפח קטן יחסית ומכיל בסך הכל בין אלף לעשרת אלפים רשומות.
כשעובדים עם הקבצים שכוללים מיקומי פגיעה, צריך לשים לב לשדות unsafe_start_index ו־unsafe_end_index. האינדקסים האלה מחושבים לפי מערך ה־input_ids של הטוקנייזר של Qwen3, כך שאם אתם עובדים עם מודל או טוקנייזר אחר, תצטרכו למפות את המיקומים מחדש לפי הטקסט המקורי.
from datasets import load_dataset
ds = load_dataset("Qwen/Qwen3GuardTest")הרישיון
המאגר מופץ ברישיון cc-by-nc-4.0. המשמעות היא שהשימוש מוגבל למחקר ולמטרות לא מסחריות בלבד, ומחייב מתן קרדיט ליוצרים. אסור להשתמש בנתונים האלה כדי לאמן מודלים שנועדו למוצר מסחרי או לשירות שמוכר גישה בתשלום.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא