archive

מה זה

הנתונים כוללים עשרות אלפי רשומות של מאמרים מקוריים לצד מאמרים מתורגמים מפרויקט LCTT. המקור הוא אתר Linux.cn, ומעבר לטקסט המאגר שומר את המבנה המלא של האתר. יש כאן כותרות, תקצירים, שמות מחברים, תגיות, קטגוריות, קישורי מקור למאמרים מתורגמים ומידע על הצוות שתרגם ובדק אותם בגיטהאב.

בנוסף לתוכן עצמו, כל רשומה מגיעה עם מדדי תפוצה כמו צפיות, שיתופים ולייקים, יחד עם התגובות שנכתבו עליה כולל כתובות ה־IP וזמני הפרסום. הכרטיס לא מפרט תהליך סינון או ניקוי שבוצע לפני ההעלאה, אלא מציג את החומר כארכיון ישיר של הפרסומים.

מתאים ל

• אימון מודלי שפה בסינית

  לימוד מושגים טכניים, ניהול שרתים וקוד פתוח מתוך שיח קהילתי מקורי ומתורגם בסינית.

• הערכת תרגום טכני

  בדיקת איכות של תרגום מאמרים טכניים בעזרת שדות המקור, המתרגם והבודק שנשמרו.

• ניתוח תגובות ומעורבות

  בניית מודלים לניתוח סנטימנט ודינמיקת תגובות בפורומים טכנולוגיים לפי מדדי הצפייה והלייקים.

איפה זה נופל

כל הטקסט במאגר כתוב בסינית בלבד, כך שהוא לא יעזור למי שמחפש עברית או אנגלית. התיעוד לא מציין סינון של תוכן בעייתי, ויש בו מידע שנאסף ישירות מהאתר כולל כתובות IP של מגיבים. בנוסף, חסר פירוט לגבי טווח התאריכים המדויק שבו נכתבו המאמרים, מה שמחייב בדיקה של שדות התאריך לפני שמסתמכים על עדכניות המידע הטכנולוגי שבו.

איך טוענים

המאגר מכיל שלושה קבצים, כשהנתונים עצמם יושבים בקובץ archve.jsonl פתוח להורדה ישירה בלי צורך באישור גישה. שדות המפתח לטקסט הם content למאמר עצמו, title ו־summary, כשהשדה islctt מפריד בין תוכן מקורי לתוכן מתורגם. תמונות לא יושבות בתוך ה־jsonl, ומי שצריך אותן צריך להוריד קובץ zip נפרד מגיטהאב או מ־Baidu Netdisk.

from datasets import load_dataset

ds = load_dataset("linux-cn/archive")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה וחדה, אסור להשתמש בנתונים האלה לשום מטרה מסחרית. מודל שתאמנו עליו לא יוכל להימכר, לשרת לקוחות בתשלום או להשתלב במוצר מסחרי, וחובה לתת קרדיט ליוצרים. המאגר מוגבל למחקר, הערכה ופיתוח פנימי בלבד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗