NYTWritingStyleGuide
קוד פתוחTuringsSolutionsmit2023-12-30
המאגר כולל טקסט שנבנה לפי מדריך הסגנון של הניו יורק טיימס באמצעות מודל שפה. הוא מתאים למי שמחפש קורפוס קומפקטי לניתוח סגנון כתיבה עיתונאי או לאימון מודלים קטנים.
- 64הורדות בחודש
- 51לייקים
מה זה
המאגר מכיל קצת יותר מ־35,000 טוקנים בפורמט JSON, ומציג טקסט שאמור לחקות את סגנון הכתיבה והעריכה של הניו יורק טיימס. לפי התיעוד, הטקסטים לא נלקחו ישירות מארכיון העיתון, אלא נוצרו בעזרת מודל השפה Notux 8x7B v1. מדובר בדאטהסט קטן יחסית שמתמקד כולו בהיבט הסגנוני הזה.
המבנה הפנימי בנוי כמערך של אובייקטים בקידוד UTF-8. כל אובייקט ברשימה מייצג טוקן יחד עם הטקסט המתאים לו ומטא-דאטה נלווה. המפרסמים לא פירטו בכרטיס אילו שדות מטא-דאטה בדיוק נכללים בכל רשומה, ולא ציינו חלוקה מוגדרת מראש לחלקי אימון, בדיקה או ולידציה.
מתאים ל
- העברת סגנון עיתונאי
התאמת טקסטים קיימים באנגלית כך שיתאימו לכללי העריכה והסגנון של הניו יורק טיימס.
- אימון מודלים זעירים
תרגול משימות יצירת טקסט על בסיס קורפוס קומפקטי שמחקה כתיבה עיתונאית מוגדרת.
- ניתוח דפוסים לשוניים
בדיקת המאפיינים הלשוניים והמבניים שהמודל ייצר תחת הנחיות סגנון הכתיבה.
איפה זה נופל
הבעיה המרכזית היא שהמידע לא נכתב על ידי עיתונאים אלא סונטז באמצעות Notux 8x7B v1, כך שאתם מקבלים חיקוי של סגנון הניו יורק טיימס דרך מודל אחר, עם כל ההטיות והטעויות האפשריות שלו. בנוסף, המאגר באנגלית בלבד וכולל 35,000 טוקנים בלבד, שזה היקף זעיר שלא יספיק לבדו לאימון מודל רציני. כרטיס המאגר גם לא מציין באילו נושאים הטקסטים עוסקים או מתי המודל ייצר אותם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר פורסם תחת רישיון MIT שמאפשר שימוש מסחרי מלא ללא הגבלה. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקוד או במוצר שלכם.
האם הדאטהסט כולל טקסטים בעברית?
לא, המאגר כולל אך ורק טקסט באנגלית שנבנה לפי מדריך הסגנון של הניו יורק טיימס. אין בו שום תמיכה או ייצוג לשפות אחרות.
איך הנתונים נאספו והוכנו בפועל?
הטקסט לא גורד מאתר העיתון ולא נסרק מספרי סגנון מודפסים. הוא נוצר באופן סינתטי באמצעות מודל השפה Notux 8x7B v1, שפלט מעל 35,000 טוקנים שמיושרים להנחיות הכתיבה.
כמה המאגר שוקל והאם צריך שרת חזק?
המאגר כולל כשלושים וחמישה אלף טוקנים בפורמט JSON, ולכן משקלו מזערי. אפשר להוריד ולעבד אותו תוך רגעים ספורים בכל מחשב רגיל בלי צורך בשרתים ייעודיים.
איך טוענים
אין כאן תהליך אישור מיוחד או צורך להמתין למפתח גישה, המאגר פתוח להורדה ישירה דרך Hugging Face. המידע שמור בקובצי JSON פשוטים לצד קובץ README, ובגלל שמדובר בסך הכל בכ־35,000 טוקנים, הקבצים שוקלים מעט מאוד וייטענו בשניות ספורות גם בסביבת עבודה בסיסית. אתם טוענים את המערך מקובץ ה־JSON, ומשם מקבלים גישה ישירה לאובייקטים של הטוקנים והמטא-דאטה שלהם. כדאי לפתוח את הקובץ ישירות ולבדוק את שמות המפתחות כדי לחלץ את הטקסט הנקי.
from datasets import load_dataset
ds = load_dataset("TuringsSolutions/NYTWritingStyleGuide")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי ומחקרי חופשי, מאפשר לשנות את הנתונים ואינו דורש שיתוף תחת אותו רישיון. תצטרכו רק לכלול את הודעת זכויות היוצרים של המפרסם בפרויקט שלכם, וזה חל גם על מודלים שמאומנים על הטקסט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש