tldr_news
קוד פתוחJulesBelvezeרישיון לא דווח2022-06-21
המאגר כולל מבזקי חדשות טכנולוגיות שנאספו ישירות ממהדורות הניוזלטר של TLDR. הוא מיועד למי שמחפש טקסטים תמציתיים באנגלית לאימון מודלים של סיכום, יצירת כותרות וסיווג לפי נושאים.
- 1,506הורדות בחודש
- 26לייקים
מה זה
הנתונים נשענים על הניוזלטר היומי של TLDR בכמה תחומים מרכזיים, בהם בינה מלאכותית, טכנולוגיה כללית וקריפטו. כל רשומה מייצגת פריט חדשותי בודד מתוך אחת המהדורות. המבנה פשוט ומכיל את כותרת הידיעה, פסקת התוכן המתמצתת, קטגוריית התוכן, המדור בניוזלטר, הקישור למקור והקישור למהדורה המקורית שממנה נלקח הטקסט.
הכרטיס לא מפרט תהליכי סינון או ניקוי מיוחדים שבוצעו, ולא מציג חלוקה מובנית לסט אימון, בדיקה או ולידציה. קובץ הנתונים מופיע כחלק יחיד של נתוני אימון, כך שמי שבונה מודל יצטרך לחתוך לעצמו את הפיצולים בצורה ידנית.
מתאים ל
- סיכום טקסטים קצרים
אימון מודלים שמפיקים תמציות חדות מתוך פסקאות חדשותיות באנגלית טכנולוגית.
- יצירת כותרות אוטומטית
למידת הקשר בין פסקת הידיעה בשדה text לבין הכותרת התואמת בשדה title.
- סיווג נושאי טכנולוגיה
מיון טקסטים לפי תחומים כמו בינה מלאכותית וקריפטו על בסיס שדה category.
איפה זה נופל
כל הטקסט במאגר כתוב באנגלית בלבד וסובב כולו סביב חדשות טכנולוגיה, כך שאינו מתאים לאימון על עברית או על כתיבה כללית. בנוסף, הדוגמה בכרטיס מציגה מדור חסויות ומודעות ממומנות. אם לא תסננו רשומות כאלה החוצה לפני האימון, המודל שלכם ילמד לנסח טקסטים שיווקיים ופרסומות במקום דיווח חדשותי נקי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ. לא דווח רישיון בדף המאגר, והטקסטים עצמם נלקחו ישירות מניוזלטרים קנייניים. ללא היתר שימוש מסחרי מפורש, שילוב הנתונים במוצר מסחרי חושף אתכם לסיכונים משפטיים של זכויות יוצרים.
האם יש במאגר תמיכה בשפה העברית?
לא. כל הנתונים נאספו מניוזלטרים של TLDR באנגלית בלבד. המאגר אינו כולל טקסטים בעברית ולא מתאים לאימון מודלים מקומיים.
מה צריך לבדוק בנתונים לפני שמתחילים לאמן מודל?
בדקו את התוכן של שדה section. המאגר כולל פריטי תוכן ממומנים ומודעות לצד דיווחים חדשותיים אמיתיים. אם המטרה היא סיכום אובייקטיבי, כדאי לסנן מראש את תוכן החסויות.
איך מחלקים את הנתונים לסט אימון ובדיקה?
הקובץ במאגר מגיע כרכיב אימון בודד בפורמט parquet ללא ספליטים מוכנים. תצטרכו להגדיר את חלוקת ה־train, test ו־validation בעצמכם בקוד לפני תחילת העבודה.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face דרך המזהה JulesBelveze/tldr_news. המידע שמור בקובץ parquet בודד, ללא צורך בהרשאה מוקדמת או בהגשת בקשת גישה. השדות המרכזיים לעבודה הם text עבור פסקת הידיעה ו־title עבור הכותרת. מי שמתכנן משימות סיווג ישתמש בעיקר בשדות category ו־section.
from datasets import load_dataset
ds = load_dataset("JulesBelveze/tldr_news")הרישיון
למאגר לא דווח רישיון שימוש רשמי. מבחינה משפטית, היעדר רישיון אומר שזכויות היוצרים על התכנים נשארות בידי הכותבים המקוריים של הניוזלטר. לא הייתי בונה על זה מוצר מסחרי או מאמן מודל שמיועד למכירה, כיוון שאין היתר מפורש להפיץ או לנצל את החומרים.