MAGE
קוד פתוחyafulapache-2.02023-06-27
מאגר נתונים שמרכז טקסטים אנושיים לצד תוכן שנוצר במודלי שפה שונים כדי לבחון מזהי טקסט מכונה. הוא מספק מבחן מציאותי לסיווג תוכן שמגיע ממקורות ומתחומים לא ידועים מראש.
- 1,991הורדות בחודש
- 16לייקים
מה זה
המאגר מיועד לשמש סביבת בדיקה לזיהוי טקסט שנוצר על ידי מכונה בתנאי אמת. הוא מכיל טקסטים שנכתבו בידי בני אדם במגוון סגנונות כמו מאמרי חדשות, סיפורים וכתיבה מדעית, לצד טקסטים מקבילים שנוצרו על ידי מודלי שפה שונים. המטרה היא לדמות מצב שבו גלאי מתמודד עם טקסט בלי לדעת מאיזה מודל או תחום הוא הגיע במקור.
הנתונים שמורים כקובצי CSV ומחולקים לקובצי אימון (train), תיקוף (valid) ובדיקה (test). בנוסף קיימות חלוקות ייעודיות לבדיקה מחוץ להתפלגות (out of distribution), כמו קובצי בדיקה מבוססי תוכן של GPT ופרפרזות, שמאפשרים לבדוק עמידות של מודלים מול דורות שונים של מודלי שפה או סגנונות כתיבה שלא נראו באימון.
מתאים ל
- אימון גלאי טקסט מכונה
אימון מסווגים שמבדילים בין טקסט אנושי לתוכן שנוצר על ידי מודלי שפה.
- הערכת עמידות מחוץ לתחום
בדיקת ביצועי מודלי זיהוי על קובצי ה־OOD כדי למדוד עמידות לטקסטים שלא נראו.
- מחקר על זיהוי פלגיאט
ניתוח היכולת של כלים אוטומטיים לאתר תוכן מלאכותי במאמרים מדעיים וחדשות.
איפה זה נופל
הכרטיס לא מציין אילו מודלי שפה בדיוק יצרו את הטקסטים או באילו שפות מדובר, אם כי סביר להניח שהרוב המוחלט הוא באנגלית. אין מידע על סינון הטיות, רעלים או תוכן פוגעני בטקסטים שנאספו. החומר פורסם באמצע 2023, כך שהוא לא כולל טקסטים ממודלים חדשים יותר שיצאו מאז. לא הייתי מכניס מודל שאומן עליו ישירות למוצר שמטפל בעברית או בתחומים מוסדרים בלי לבדוק היטב את תכולת הקבצים בפועל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא בנתונים ובקוד. עליכם רק לציין את הייחוס ליוצרים המקוריים ולצרף את תנאי הרישיון בהפצה. המודל שתאמנו על הנתונים אינו מחויב ברישיון קוד פתוח.
האם המאגר כולל טקסטים בעברית?
בכרטיס המאגר לא מצוין קיומה של עברית, והוא מתבסס בעיקר על מקורות כתיבה סטנדרטיים באנגלית. אם אתם צריכים לזהות טקסט שנוצר במודלי שפה בעברית, המאגר הזה ככל הנראה לא יתאים למשימה שלכם.
איך הנתונים נאספו ונבנו?
החוקרים אספו כתיבה אנושית מתחומים כמו חדשות, סיפורת וכתיבה מדעית, והפיקו טקסטים מקבילים בעזרת מודלי שפה שונים. המטרה שלהם הייתה ליצור סביבת בדיקה מגוונת שמאתגרת מזהים קיימים ללא תלות במקור ספציפי.
איך טוענים
טוענים את הנתונים ישירות מקובצי ה־CSV שנמצאים במאגר בעזרת ספריית datasets או דרך pandas. המאגר פתוח לחלוטין לציבור ללא צורך בהרשאת גישה מיוחדת, וכולל קוד עזר בפייתון כמו סקריפטים להכנת הנתונים (prepare_testbeds.py) ולזיהוי. צריך לקרוא את קובצי הפיצול הרלוונטיים למשימה שלכם, במיוחד אם אתם בודקים הכללה על קובצי ה־OOD. שימו לב שהכרטיס אינו מפרט את שמות העמודות המדויקים, ולכן כדאי לפתוח את הקבצים ולבדוק את מבנה השדות לפני שמריצים סקריפט אימון מלא.
from datasets import load_dataset
ds = load_dataset("yaful/MAGE")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים והפצה שלהם, ואינו מחייב אתכם לשחרר את המודלים שלכם באותו רישיון. התנאי המרכזי הוא מתן קרדיט וייחוס ליוצרים, לצד הכללת עותק של הרישיון המקורי בכל הפצה של הקוד או הנתונים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים