DAN

מה זה

המאגר מציג דיאלוגים, שאלות ותשובות שמתמקדים בנושאים קשים שהרוב מסננים החוצה. תמצאו שם שיחות על הומור שחור, קללות, התנהגות פלילית, שימוש בחומרים לא חוקיים, מחשבות אלימות ובוטות, וגם מצוקה רגשית ונפשית. הטקסטים נוגעים ישירות בפסיכולוגיה ובהתנהגות אנושית קיצונית ולא מרוסנת.

לפי כרטיס הדאטהסט יש בקובץ 1909 שורות, למרות שהתיוג הכללי מציג טווח של עשרות אלפים. המידע שמור בקובץ json יחיד בשם d.json. היוצרים לא מפרטים מאיזה מקורות בדיוק הם אספו את הטקסטים, איך הם ביצעו את איסוף המידע בפועל, או האם הופעל סינון כלשהו כדי לבחור את השיחות שנכנסו למאגר.

מתאים ל

• אימון צ'אטבוטים

  פיתוח מודלי שיחה שצריכים להכיר סגנון דיבור חופשי ונושאים קיצוניים.

• מחקר NLP והתנהגות

  בדיקת תגובות של מודלים למצבי קיצון, מצוקה נפשית ודעות חריגות.

• ניתוח רגשות קיצוניים

  יצירת דאטהסטים למדידת אינטליגנציה רגשית וזיהוי תוקפנות בטקסט.

איפה זה נופל

הטקסטים כוללים שפה בוטה, תכנים פוגעניים ותיאורי אלימות. הנתונים קיימים באנגלית בלבד ואין בהם עברית בכלל. הכרטיס לא מציין מתי התוכן נוצר או נאסף, מה שמשאיר את גיל המקורות לא ידוע. לא מומלץ לחבר מודל שאומן על הדאטהסט הזה ישירות למוצר שפוגש משתמשים בלי בדיקה קפדנית של התשובות שהוא מייצר.

איך טוענים

הטעינה פשוטה כי מדובר בקובץ d.json ששוקל 2.65 מגה בייט בלבד. אין צורך באישור גישה מיוחד כדי להוריד אותו מהמאגר. לפני שמתחילים להריץ אימון, קחו בחשבון שמדובר בכמות קטנה של 1909 רשומות, כך שהקובץ ייטען במהירות בכל סביבת עבודה מקומית ללא דרישות חומרה כבדות.

from datasets import load_dataset

ds = load_dataset("UnfilteredAI/DAN")

הרישיון

הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הקוד והנתונים תחת מתן קרדיט. יחד עם זאת, הכרטיס כולל הערה שמייעדת את החומר למחקר ולחינוך ומזהירה משימוש בלתי חוקי, מה שיוצר חוסר בהירות משפטי לגבי שילוב ישיר במערכות מסחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗