AI-and-Human-Generated-Text
קוד פתוחAteeqqmit2024-04-10
המאגר כולל תקצירים אקדמיים שנכתבו בידי אדם לצד כאלה שנוצרו במכונה, ומאפשר לפתח גלאי תוכן. הוא מתאים למי שרוצה להתמקד בזיהוי טקסט מדעי שנכתב בבינה מלאכותית.
- 264הורדות בחודש
- 24לייקים
מה זה
המאגר מבוסס על פרויקט AI-GA ומכיל 28,662 רשומות שמחולקות שווה בשווה בין תקצירים מקוריים לבין תקצירים סינתטיים. כל רשומה כוללת כותרת של מאמר, את פסקת התקציר עצמה, ותווית בינארית שמציינת את מקור הטקסט: אפס עבור תקציר אנושי מקורי, ואחת עבור תקציר שנוצר במחשב.
הטקסטים המלאכותיים נוצרו באמצעות מודל GPT-3, כשהמטרה היא לחקות את המבנה והסגנון של מאמרים מדעיים אמיתיים. החומרים מחולקים לקובצי אימון ובדיקה נפרדים, ובנוסף קיים קובץ אחד שמאחד את כלל הדוגמאות, כך שאפשר להתחיל לעבוד בלי לפצל את המידע באופן ידני.
התוכן המקורי נלקח מפרויקט גיטהאב ייעודי, והמשתמש שהעלה אותו להאגינג פייס מדווח שהוא נעזר בו לצורך בניית מנגנון זיהוי טקסט עבור אתר חיצוני. מבנה הנתונים פשוט ועקבי, ללא שדות מיותרים או מטא-דאטה מורכב מעבר לטקסט ולסיווג שלו.
מתאים ל
- אימון מסווג טקסט
בניית מסווג שמבדיל בין מאמרים מקוריים לתוכן שנוצר במכונה לפי מבנה התקציר.
- בדיקת עמידות מודלים
בחינת יכולת ההכללה של גלאי תוכן קיימים על כתיבה אקדמית שנוצרה ב־GPT-3.
- ניתוח סגנון כתיבה
השוואה בלשנית של מאפיינים מבניים בין ניסוחים אנושיים לניסוחים סינתטיים.
איפה זה נופל
הנתונים מוגבלים לחלוטין לאנגלית ולסגנון ספציפי של תקצירים אקדמיים. עברית לא קיימת כאן, וטקסט שיווקי, שיחות או קוד לא רלוונטיים למאגר הזה. בנוסף, כל הדוגמאות הסינתטיות הופקו באמצעות מודל GPT-3 הישן יחסית, כך שמודל שיאומן כאן עלול לפספס טקסטים של מודלים מודרניים יותר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי מלא, כולל אימון מודלים המוטמעים במערכות מסחריות, בתנאי ששומרים על תנאי הייחוס של הרישיון.
האם המאגר כולל נתונים בעברית?
לא. כל הטקסטים והכותרות במאגר כתובים באנגלית בלבד. אם המטרה היא זיהוי טקסט עברי שנוצר במחשב, המאגר הזה לא יסייע.
אילו מודלים יצרו את הטקסט המזויף?
התקצירים הסינתטיים הופקו בעזרת GPT-3. כרטיס המאגר מציין חלופה חיצונית המכילה דוגמאות ממודלים אחרים, אך המאגר הנוכחי ממוקד בכלי הזה בלבד.
האם צריך לחלק את המידע לבד?
לא בהכרח. המאגר מציע מראש קובצי train.csv ו־test.csv מופרדים, ובמקביל כולל קובץ combined שמכיל את כל 28,662 הרשומות למי שמעדיף לבצע חלוקה עצמאית.
איך טוענים
הנתונים מגיעים בקובצי CSV פשוטים ואינם דורשים הרשאה מיוחדת או אישור גישה מראש. אפשר להוריד אותם ישירות מתוך המאגר או למשוך אותם בקוד באמצעות ספריית הדאטהסטים הרגילה של האגינג פייס.
השדות העיקריים שצריך לשים אליהם לב הם הטקסט של התקציר, הכותרת, ועמודת התווית שמפרידה בין אפס לאחת. המאגר כולל חלוקה מובנית לקובצי train ו־test, לצד קובץ מאוחד שמחזיק את כלל הרשומות, כך שנוח לטעון את החלק הרלוונטי למשימה שלכם בלי עיבוד מקדים.
from datasets import load_dataset
ds = load_dataset("Ateeqq/AI-and-Human-Generated-Text")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי ומחקרי חופשי, מאפשר שינוי של המידע ושילוב שלו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש