Discord-Dialogues

מה זה

המאגר כולל 7,303,464 שיחות שנלקחו משרתי דיסקורד בין שלהי האביב לתחילת הסתיו של 2025. כל רשומה מייצגת רצף הודעות בין שני כותבים אנושיים בלבד, כאשר תגובות רצופות של אותו אדם חוברו להודעה אחת. הטקסטים אורגנו במבנה ChatML עם תפקידי שיחה, כך שהם מוכנים ישירות לאימון.

הסינון עבר ארבעה שלבים. תחילה הוסרו בוטים, קישורים, תמונות מוטמעות ופקודות אוטומציה בעזרת שאילתות בסיס נתונים. בהמשך נוקו בלוקים של קוד, הודעות מסחר וחיפוש קבוצות משחק, בוצעה נרמול לסלנג וסוננו שיחות לפי אורך. השלב הבא מחק כפילויות של שיחות, ולבסוף הורחקו תכנים פוגעניים, הטרדות, פרטי מידע אישי והפרות תנאי שימוש באמצעות ביטויים רגולריים ייעודיים.

מתאים ל

• אימון מודלי שיחה

  כוונון עדין של מודלים כדי שילמדו לקצר תשובות, להבין סלנג מודרני ולהישמע טבעיים.

• אימון מודלי תגמול

  דירוג והערכה של תגובות אנושיות קצרות וקולעות לעומת תשובות רובוטיות.

• מחקר על דיאלוגים

  ניתוח דפוסי תקשורת בין שני אנשים ברשתות צ'אט ובחינת התפלגות תורות שיחה.

איפה זה נופל

היוצר מבהיר שהסינון הוריד בערך 75% מהחומר המקורי, אבל עדיין מדובר באיסוף המוני שדורש בדיקה שלכם. רוב השיחות קצרות מאוד, כשחציון האורך עומד על 28 טוקנים בלבד ומעל 5.7 מיליון שיחות כוללות רק שני תורות, מה שלא יתאים למי שבונה מודל להסברים ארוכים או להסקת מסקנות מורכבת. השפה כמעט כולה אנגלית, הדיאלוגים מוגבלים לשני משתתפים, ויש לוודא שהטון של דיסקורד מתאים למוצר שלכם ולא מייצר תשובות סלנג קיצוניות.

איך טוענים

טוענים את המאגר ישירות מתוך Hugging Face בעזרת הספרייה הסטנדרטית, והוא יושב בקובץ data/train.parquet פתוח לגמרי בלי צורך באישור מוקדם. חוץ מטקסט השיחה, הטבלה כוללת מראש עמודות מספריות של ספירת תווים, מילים, טוקנים ומספר תורות בכל דוגמה. הנתונים האלה מאפשרים לחתוך החוצה שיחות קצרות מדי בלי להריץ טוקנייזר מחדש על כל המיליונים האלה.

from datasets import load_dataset

ds = load_dataset("mookiezi/Discord-Dialogues")

הרישיון

המאגר פורסם ברישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי, הפצה ואימון מודלים סגורים בלי חובת שיתוף באותו רישיון. תנאי הרישיון מחייבים ציון קרדיט ליוצר והכללת עותק של כתב הוויתור והרישיון המקורי בתוצר שלכם. הואיל ומדובר בטקסטים שנאספו ממשתמשי דיסקורד, הרישיון מתייחס לאוסף עצמו ומבוסס על עמידה בתנאי השימוש של הפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗