GPT-wiki-intro
קוד פתוחaadityaubhatcc2023-02-03
המאגר כולל 150 אלף פסקאות פתיחה מוויקיפדיה לצד גרסאות מקבילות שייצר מודל שפה. הוא מיועד למי שרוצה לאמן או לבדוק מסווגים שמבדילים בין טקסט אנושי למכונה.
- 156הורדות בחודש
- 27לייקים
מה זה
כל רשומה בנויה סביב ערך ויקיפדיה באנגלית. לצד הכתובת, הכותרת ופסקת הפתיחה המקורית שנלקחה מוויקיפדיה, ישנה גרסה מלאכותית שנכתבה על ידי המודל text-curie-001 של OpenAI. הייצור התבצע בעזרת הנחיה שביקשה פסקת מבוא באורך של כמאתיים מילים, תוך שימוש בשבע המילים הראשונות של הפסקה המקורית כדי להתחיל את המשפט.
המבנה של הנתונים ברור וכולל שתים עשרה עמודות. מעבר לטקסטים עצמם, המאגר שומר את הפרומפט המדויק, את הטקסט שנוצר, את אורכי הטקסטים במילים, וספירת טוקנים לפרומפט ולפלט. אין כאן חלוקה מובנית לסט אימון ובדיקה, כך שתצטרכו לפצל את 150 אלף הדוגמאות בעצמכם.
מתאים ל
- אימון גלאי טקסט מכונה
זיהוי הבדלים סגנוניים ומבניים בין כתיבה אנציקלופדית של בני אדם לפלטים של מודלים ישנים.
- הערכת מסווגי תוכן
בדיקת ביצועים של מסווגי אפס צעדים מול זוגות טקסט מקבילים באותו נושא בדיוק.
- מחקר על דפוסי יצירה
ניתוח האופן שבו הנחיה קבועה משפיעה על אורך הפלט וספירת הטוקנים בהשוואה למקור.
איפה זה נופל
הנתונים כולם באנגלית בלבד, ואין פה מילה אחת בעברית. הבעיה המרכזית היא שהטקסטים נוצרו בתחילת 2023 באמצעות Curie הישן, מודל פשוט וחלש בהרבה ממה שאנשים פוגשים היום ברשת. מסווג שילמד לזהות את החזרתיות של המודל הזה לא בהכרח יזהה טקסטים של מודלים מודרניים. בנוסף, העובדה שכל פתיח מתחיל בדיוק באותן שבע מילים של המקור יוצרת דפוס מלאכותי שעלול להטעות מודל סיווג.
שאלות
נפוצות
האם אפשר להשתמש במאגר לפרויקט בעברית?
לא, הנתונים כולם נאספו מוויקיפדיה באנגלית והפרומפטים נכתבו באנגלית בלבד. אם המטרה היא זיהוי תוכן בעברית, תצטרכו לייצר מאגר מקומי מקביל. שימוש בנתונים האלה לא ייתן שום מענה למאפייני השפה העברית.
האם המאגר מייצג את מודלי השפה המודרניים?
הטקסטים נוצרו באמצעות text-curie-001, שנחשב מדור ישן ומוגבל. מודלים עכשוויים מייצרים פלטים מתוחכמים בהרבה, ולכן מודל שיאומן על המאגר הזה עלול להיכשל מול תוכן עדכני. זה טוב למחקר היסטורי או בסיסי, פחות למערכות ייצור עדכניות.
איך בדיוק יצרו את הפסקאות המלאכותיות?
לכל ערך לקחו את הכותרת ואת שבע המילים הראשונות מהפתיח המקורי בוויקיפדיה. שילבו אותן בפרומפט קבוע שביקש פסקת מבוא באורך מאתיים מילים בסגנון ויקיפדיה, והריצו עם טמפרטורה של 0.7. ההגדרות המלאות כולל ענישה על חזרתיות מתועדות כולן בכרטיס.
האם יש הגבלה על שימוש מסחרי?
הרישיון מסומן רק כ־cc, בלי פירוט של סוג הרישיון המדויק. מכיוון שהתוכן נשען על ויקיפדיה ועל פלטים של מנוע מסחרי, לא כדאי להניח שמותר לבנות מזה מוצר מסחרי בלי בדיקה מעמיקה. מומלץ לבדוק את המאגר בגיטהאב לפני קבלת החלטה.
איך טוענים
הקובץ המרכזי שמור כארכיון מכווץ בשם GPT-wiki-intro.csv.zip בתוך המאגר, שכולל בסך הכל שלושה קבצים. הגישה פתוחה לחלוטין ואין צורך לבקש אישור או לחכות למפתח. אחרי הטעינה, השדות המרכזיים שמעניינים אתכם לסיווג הם wiki_intro שמייצג את הכתיבה האנושית, ו־generated_intro שמכיל את הטקסט המיוצר.
from datasets import load_dataset
ds = load_dataset("aadityaubhat/GPT-wiki-intro")הרישיון
הרישיון המדווח בעמוד הוא cc כללי, ללא פירוט נוסף של הגרסה המדויקת כמו ייחוס או הגבלה מסחרית. בנוסף, המקורות מבוססים על ויקיפדיה ועל פלטים של מודל מסחרי ישן. לפני שאתם משלבים את הנתונים באימון של מוצר מסחרי, מומלץ לבדוק את תנאי השימוש הספציפיים בקוד המקור שפורסם.