human_ai_generated_text

מה זה

הנתונים מגיעים בקובץ יחיד בשם model_training_dataset.csv, שנוצר במסגרת מחקר של אביודון פינברס אוקטונג'י מ־2023 על מודלים היברידיים לזיהוי טקסט. כל שורה בטבלה מכילה מזהה ייחודי, את ההנחיה המקורית שניתנה למשימת הכתיבה, את הטקסט שכתב אדם, ואת הטקסט המקביל שנוצר על ידי בינה מלאכותית.

הכרטיס לא מפרט מאיזה מודל הופקו הטקסטים המלאכותיים, מי היו האנשים שכתבו את הטקסט האנושי, או באיזו מתודולוגיה בוצע סינון של התוכן. המידע נשען על קובץ שהועבר ישירות מהחוקר למפרסם המאגר, בלי חלוקה מוגדרת מראש לסט אימון, בדיקה או ולידציה.

מתאים ל

• אימון מסווג טקסט

  בניית מודל בינארי שמבדיל בין כתיבה אנושית לכתיבת מכונה על בסיס אותה משימה.

• בדיקת ביצועים לזיהוי

  הרצת מבחני דיוק למערכות זיהוי תוכן קיימות מול טקסטים שנכתבו באנגלית.

• ניתוח הבדלי ניסוח

  השוואה בלשנית בין האופן שבו בני אדם ומכונות עונים על אותן הנחיות כתיבה.

איפה זה נופל

הטקסטים כולם באנגלית, כך שאי אפשר להשתמש במאגר לעבודה בעברית. מעבר לכך, הכרטיס מסתיר יותר ממה שהוא מגלה. לא מצוין אילו מודלים ייצרו את הפלטים, מה גיל הכותבים, באיזו רמה אקדמית מדובר, או מתי בדיוק נאספו הדוגמאות. אם אתם בונים מוצר לזיהוי תוכן של מודלים מודרניים, יש סיכוי שהסגנון כאן כבר לא מייצג את מה שמשתמשים מקבלים היום בשטח.

איך טוענים

אתם מושכים את הקובץ ישירות מ־Hugging Face דרך הספרייה הרגילה או מורידים את model_training_dataset.csv ידנית. אין צורך באישור גישה מיוחד, המאגר פתוח לגמרי. השדות המרכזיים לעבודה הם instructions לצורך הקשר, וצמד השדות human_text ו־ai_text שמהם מייצרים את הדוגמאות החיוביות והשליליות לאימון מסווג.

from datasets import load_dataset

ds = load_dataset("dmitva/human_ai_generated_text")

הרישיון

הרישיון הוא cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולבנות עליו מודלים. החובה היחידה שלכם היא לתת קרדיט מתאים ליוצרים המקוריים, ואין דרישה לשתף את התוצרים שלכם תחת אותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗