ai-text-detection-pile
קוד פתוחartem9kmit2023-02-27
המאגר מרכז טקסטים ארוכים שנכתבו בידי אדם לצד פלטים מכמה מודלי שפה מוקדמים. הוא מתאים למי שבונה מסווג לזיהוי טקסט שנוצר במחשב, בעיקר בהקשר של חיבורים ומאמרים.
- 547הורדות בחודש
- 46לייקים
מה זה
הנתונים מורכבים משני סוגי רשומות, טקסט אנושי וטקסט מכונה. בצד האנושי יש כמעט מיליון דוגמאות שנלקחו ממאגרים כמו רדיט WritingPrompts, פרויקט Webtext של OpenAI ותשובות אנושיות מתוך HC3, לצד חיבורים ממאגר ivypanda שסומנו עדיין בעבודה. המטרה המוצהרת היא התמקדות בטקסטים ארוכים בסגנון חיבורים.
בצד המכונה נאספו כ־340 אלף דוגמאות ממודלים ישנים יחסית: GPT-2, גרסאות Davinci של GPT-3, המודל הפתוח GPT-J, ומעט פלטים של ChatGPT שנאספו מטוויטר וממאגרים כמו HC3. המבנה עצמו מינימליסטי וכולל שתי עמודות בלבד, הטקסט עצמו והמקור שלו שמסומן כטקסט אנושי או בינה מלאכותית.
מתאים ל
- אימון מסווג זיהוי מכונה
בניית מודל קל לסיווג בינארי בין תוכן אנושי לתוכן שנוצר על ידי מודלי שפה באנגלית.
- בנצ'מרק למודלים ישנים
בדיקת יכולת הזיהוי של מסווגים קיימים מול פלטים של GPT-2, GPT-3 ו־GPT-J.
- ניתוח הבדלי סגנון
מחקר בלשני שמשווה בין מאפייני כתיבה של אנשים לבין תוצרי מודלים מוקדמים בטקסט ארוך.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, ואין בו שום תמיכה בעברית. בנוסף, הוא עודכן בתחילת 2023 ומכיל מודלים כמו GPT-2 ו־GPT-3 המוקדמים, עם מעט מאוד דוגמאות של ChatGPT ואפס ייצוג למודלים מודרניים וחזקים יותר. חוסר האיזון המספרי בין הטקסט האנושי לטקסט המכונה דורש טיפול מראש, והעובדה שחלק מהמקורות מוגדרים בכרטיס כטיוטה מחייבת בדיקה זהירה של הנתונים לפני שמסתמכים עליהם.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. המאגר מוגדר ומכיל טקסטים באנגלית בלבד, שנאספו מרדיט ומאתרים דוברי אנגלית.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון המוצהר הוא MIT שמאפשר שימוש מסחרי חופשי באימון מודלים. צריך רק לזכור שהנתונים נאספו ממקורות צד שלישי שונים ברשת.
האם יש חלוקה לולידציה ולטסט?
לא, המאגר כולל רק פיצול אימון שמחולק לשבעה קבצי Parquet. את החלוקה למבחן ובדיקה תצטרכו לעשות בעצמכם מתוך הדאטה.
אילו מודלים של בינה מלאכותית מייוצגים שם?
הנתונים מגיעים בעיקר מ־GPT-2, גרסאות של GPT-3, המודל GPT-J ומעט מאוד ChatGPT. מודלים מתקדמים יותר שיצאו מאז לא קיימים כאן.
איך טוענים
הטעינה מתבצעת ישירות מתוך Hugging Face בלי צורך בבקשת גישה מיוחדת, באמצעות שבעה קבצי Parquet שמכילים את כלל הדוגמאות בחלוקת train. כל רשומה כוללת את השדה TEXT שמחזיק את תוכן הפסקה או החיבור, ואת השדה SOURCE שמקבל את הערך human או ai. אין כאן מטא-דאטה נוסף כמו שם המודל הספציפי ברמת השורה, כך שעובדים ישירות מול שני השדות האלה.
from datasets import load_dataset
ds = load_dataset("artem9k/ai-text-detection-pile")הרישיון
המאגר מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי לחלוטין, כולל אימון מודלים מסחריים, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, הטקסטים עצמם לוקטו ממקורות שונים ברשת וברדיט, ולכן כדאי לקחת בחשבון את זכויות היוצרים של הטקסטים המקוריים אם מתכוונים להפיץ את הדאטהסט הלאה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש