gretel-safety-alignment-en-v1
קוד פתוחgretelaiרישיון לא דווח2024-11-12
המאגר כולל 8,361 שלשות של הנחיה, תשובה ראשונית ותשובה בטוחה באנגלית. הוא מיועד ליישור מודלי שפה בתחומי בטיחות כמו אפליה ושימוש זדוני באמצעות דאטה סינתטי.
- 322הורדות בחודש
- 23לייקים
מה זה
כל רשומה בנויה סביב טקטיקת תקיפה והנחיה עם בקשה לא בטוחה, לצד התשובה המקורית של המודל וגרסה מתוקנת שעומדת בכללי בטיחות. בנוסף, כל דוגמה כוללת ציוני בטיחות ונימוקים שהופקו על ידי מודל שופט, יחד עם הסתברות לפגיעה שחושבה באמצעות ibm-granite/granite-guardian-3.0-2b.
התוכן נוצר באופן סינתטי לגמרי באמצעות Gretel Navigator וארבעה מודלים קטנים: Granite 3.0 8B על שתי גרסאותיו, Qwen 2.5 7B בגרסת הבסיס וההנחיות, וכן Mistral-Nemo-Instruct-2407. הדאטהסט מחולק לקטגוריות סיכון כמו אפליה, שימוש זדוני וסכנות מידע, כאשר כל קטגוריה מפוצלת לקובצי אימון, בדיקה וולידציה.
מתאים ל
- יישור מודלי שפה לבטיחות
אימון נוסף כדי ללמד מודל לסרב לבקשות זדוניות או לתקן תשובות פוגעניות באמצעות דוגמאות safe_response.
- אימון מודלי שיפוט
שימוש בציוני השופט ובנימוקים הקיימים כדי לאמן מודלים להעריך רמות סיכון ואיכות מענה.
- סינון קלטים ופלט בזמן אמת
בניית מערכות זיהוי לתקיפות ושימוש זדוני בהסתמך על תיוגי הטקטיקות וקטגוריות הסיכון.
איפה זה נופל
זהו דאטהסט סינתטי לחלוטין שנוצר על ידי מודלים קטנים בטווח של שבעה עד שנים עשר מיליארד פרמטרים, ולא על ידי בני אדם. התוצאות משקפות את ההטיות והמגבלות של מודלי הבסיס האלה, ללא בדיקה אנושית ידנית של הנימוקים או הציונים. הדאטה מוגבל לאנגלית בלבד, כך שהוא לא יעזור לכם בכלל בבטיחות בעברית, והוא מתאים בעיקר כבסיס ראשוני ולא כאימות סופי לפני שחרור מוצר.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
לא ידוע. היוצרים לא ציינו רישיון בעמוד המאגר, ולכן מבחינה משפטית אין היתר ברור לשימוש מסחרי עד שהם יעדכנו את תנאי השימוש.
האם יש בדאטהסט תוכן בעברית?
לא. המאגר מוגדר כ־en-v1 ומכיל דוגמאות, הנחיות וטקטיקות שנכתבו כולם באנגלית בלבד.
איך המידע הזה נאסף והאם עברו עליו אנשים?
הנתונים לא נאספו מהאינטרנט ולא נבדקו על ידי בני אדם. הכל הופק באופן סינתטי על ידי כלי AI Data Designer של Gretel באמצעות מודלים של IBM, Qwen ו־Mistral, כולל הציונים של מודל השופט.
כמה מקום ומשאבים צריך כדי לטעון אותו?
מעט מאוד. כל 17 הקבצים תופסים יחד 48.98 מגהבייט ומכילים 8,361 רשומות, כך שאפשר לטעון אותו תוך שניות על כל מחשב אישי רגיל.
איך טוענים
הנתונים מחולקים ל־17 קובצי Parquet ששוקלים יחד 48.98 מגהבייט בלבד, כך שאין שום בעיית זיכרון וטוענים אותם ישירות מ־Hugging Face בלי צורך באישור גישה. הסכמה פשוטה וכוללת 14 עמודות. כדי להתחיל לעבוד איתו לאימון בטיחות, העמודות החשובות הן prompt, safe_response ו־response, לצד risk_category לסינון לפי נושאים.
from datasets import load_dataset
ds = load_dataset("gretelai/gretel-safety-alignment-en-v1")הרישיון
היוצרים לא דיווחו על רישיון בעמוד המאגר. מבחינה מעשית זה אומר שאין לכם היתר שימוש מוגדר, ואי אפשר לדעת אם מותר להשתמש בו לצרכים מסחריים או לאמן עליו מודלים סגורים בלי להסתכן משפטית.