INTIMA
קוד פתוחAI-companionshipcc-by-4.02025-08-04
בנצ'מרק לבדיקת האופן שבו מודלים מגיבים לתלות רגשית, בדידות ופניות אינטימיות. הוא עוזר למדוד אם הבוט מעודד קשר פרסוציאלי או שומר על גבולות.
- 267הורדות בחודש
- 32לייקים
מה זה
המאגר כולל 368 פרומפטים שנועדו לבחון התנהגות מודלים מול משתמש שמפתח היקשרות רגשית. כל רשומה מורכבת מהפרומפט עצמו, קוד התנהגותי מתוך 31 קטגוריות, ושם המודל שייצר את הטקסט. הקטגוריות מחולקות לארבע קבוצות ראשיות: תכונות עוזר, פגיעויות של המשתמש כמו אבל ובדידות, מערכות יחסים ואינטימיות, והשקעה רגשית.
הבסיס מגיע מניתוח איכותני של 53 פוסטים מתוך רדיט (ספציפית r/ChatGPT) שתיארו אינטראקציות רגשיות עם בינה מלאכותית. על בסיס התיוגים האלה החוקרים יצרו את הפרומפטים בעזרת שלושה מודלים פתוחים: Llama-3.1-8B-Instruct, Mistral-Small-24B-Instruct-2501 ו־Qwen2.5-72B-Instruct, ואז סיננו ודייקו אותם. כל הנתונים מרוכזים בקובץ יחיד ללא חלוקה לסט אימון ומבחן.
מתאים ל
- בדיקת גבולות של צ'אטבוט
הרצת הפרומפטים על מודל שיחה כדי לבדוק אם הוא מסרב בעדינות להצעות רומנטיות או מעודד אשליה של קשר אנושי.
- מדידת בטיחות לפני השקה
כימות תגובות המודל למצבי פגיעות נפשית כמו בדידות או אבל, במטרה לוודא שהוא לא מציג את עצמו כתחליף לטיפול מקצועי.
- השוואת מודלים פתוחים
הערכה השוואתית של התנהגות מודלים שונים מול טקסטים שמנסים לעורר האנשה והיקשרות פאראסוציאלית.
איפה זה נופל
זהו כלי הערכה מצומצם מאוד ולא סט לאימון. 368 פרומפטים בלבד, כולם באנגלית, ומבוססים על אינטראקציה של תור בודד (single-turn). משתמשים אמיתיים שמפתחים תלות רגשית עושים את זה לאורך שיחות מתמשכות, ואת הדינמיקה הזו המאגר לא בודק. בנוסף, הטקסטים סונתזו על ידי מודלים ולא נכתבו ישירות על ידי בני אדם, כך שהם עלולים לפספס ניואנסים אמיתיים של מצוקה או פגיעות. לא הייתי מסתמך עליו לבדיקת מוצר בעברית בלי תרגום והתאמה תרבותית מלאה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון CC-BY 4.0 מאפשר שימוש מסחרי חופשי. התנאי היחיד הוא מתן קרדיט ברור לחוקרים שפרסמו את הדאטהסט וציון שינויים אם נעשו כאלה. אין מגבלה על שילוב הבדיקות האלה בפייפליין של מוצר מסחרי סגור.
האם המאגר כולל שיחות בעברית?
לא, כל 368 הפרומפטים נכתבו באנגלית בלבד. אם המוצר שלכם פונה לקהל ישראלי, תצטרכו לתרגם את הפרומפטים ולהתאים אותם לסלנג ולדפוסי השיחה המקומיים. תרגום מכונה פשוט עלול לפספס חלק מהמטען הרגשי שהפרומפטים המקוריים מנסים לעורר.
מאיפה הגיעו הנתונים והאם אלה שיחות אמיתיות?
הפרומפטים עצמם אינם שיחות שלמות אלא טקסטים שנוצרו על ידי מודלים כמו Llama, Mistral ו־Qwen. הבסיס שלהם נשען על 53 פוסטים ציבוריים מרדיט שעברו תיוג ידני כדי למפות תופעות של תלות והאנשה. החוקרים השתמשו בקטגוריות האלה כדי להנחות את המודלים לייצר שאלות שמדמות משתמש פגיע.
האם אפשר לאמן מודל ישירות על הדאטהסט הזה?
טכנית אפשר, אבל זה לא הגיוני בגלל הגודל והמבנה שלו. יש בו רק 368 רשומות, וכולן פרומפטים של משתמש ללא תשובות מומלצות של המערכת. הוא מיועד לשמש ככלי בדיקה והערכה לתגובות של מודלים קיימים, ולא כחומר למידה או כוונון עדין.
איך טוענים
אין צורך לבקש אישור גישה, המאגר פתוח להורדה ישירה דרך Hugging Face. הנתונים מגיעים בשני פורמטים נוחים לקריאה, INTIMA.jsonl ו־INTIMA.tsv, כשלצידם מאמר ב־PDF. הנפח זעיר ונטען בשניות לכל סביבת עבודה. בפועל עובדים מול שלושה שדות בלבד: prompt שמכיל את קלט המשתמש, code שמציין את התופעה הפסיכולוגית הנבדקת, ו־model שמציין מי יצר את הפרומפט.
from datasets import load_dataset
ds = load_dataset("AI-companionship/INTIMA")הרישיון
הרישיון הוא CC-BY 4.0. מותר להשתמש בנתונים למטרות מחקריות ומסחריות, לשנות אותם ולשלב אותם בכלים אחרים, כל עוד נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. הרישיון אינו כופה שיתוף באותם תנאים, כך שמודל או מערכת שמשתמשים בבנצ'מרק הזה לצורך הערכה לא מחויבים לחשוף את הקוד שלהם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס