Teatime

מה זה

הנתונים מורכבים מיומני שיחה שעברו עיבוד מקובצי אקסל גולמיים. המבנה הבסיסי מבוסס על עצי שיחה, שבהם כל עריכת הודעה של משתמש או יצירה מחדש של תשובה פותחת ענף נפרד. בגלל המבנה הזה, הקובץ המלא מכיל 55,921 שיחות עם כפילויות רבות, שכן כל פיצול מעתיק מחדש את כל ההודעות הקודמות ברצף.

כדי לפתור את בעיית הכפילויות, המפרסמים יצרו קבצים עם הסיומת longest. הקבצים האלה שומרים רק את הנתיב הארוך ביותר מההודעה הראשונה ועד האחרונה בכל עץ, מה שמצמצם את הכמות ל־11,046 שיחות ללא חזרות. המאגר מחולק גם לפי מודלים ספציפיים, כולל גרסאות של claude-1-100k ו־claude-1.2, ומכיל בסך הכל 120 קבצים.

מתאים ל

• אימון מודלי שיחה

  שימוש בגרסת המסלול הארוך לאימון מודלים מבוססי שיחה מרובת שלבים ללא כפילויות מיותרות.

• ניתוח פיצולי שיחות

  חקר התנהגות משתמשים ובחינת הנקודות שבהן הם בוחרים לערוך הודעה או לבקש ניסוח מחדש.

• בדיקת ביצועי מודלים

  הערכת היכולת של מערכות שפה לשמור על הקשר בשיחות ארוכות על בסיס יומני עבר.

איפה זה נופל

הנתונים תומכים באנגלית ובקוריאנית בלבד, כך שאין כאן שום מענה למי שמחפש עברית. מדובר ביומנים שנאספו עד יולי 2023 ומבוססים על גרסאות ישנות יחסית של קלוד, כמו קלוד 1 ו־1.2. התיעוד לא מפרט כיצד סונן תוכן פוגעני, פרטי משתמשים או מידע אישי מתוך קובצי האקסל המקוריים, כך שחובה להריץ בדיקות אנונימיזציה עצמאיות לפני כל שימוש.

איך טוענים

הנתונים זמינים להורדה ישירה כקובצי JSON, ללא צורך באישור גישה מיוחד. מי שרוצה לחסוך עבודה על ניקוי כפילויות צריך לפנות ישר לקובצי ה־longest, כמו all_logs_longest.json שמרכז כ־27.6 מיליון טוקנים, במקום all_logs.json שמגיע ליותר מ־237 מיליון טוקנים בגלל פיצולי הענפים. המאגר כולל גם מחברת Untitled.ipynb שמאפשרת לבחון את המבנה הפנימי של הרשומות.

from datasets import load_dataset

ds = load_dataset("OpenLeecher/Teatime")

הרישיון

המאגר מופץ ברישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. הרישיון אינו מחייב שיתוף של מודלים שאומנו עליו תחת אותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗