firefly-pretrain-dataset
קוד פתוחYeungNLPרישיון לא דווח2023-08-27
המאגר כולל 22 גיגה בייט של טקסט בסינית שנועד לאימון מקדים נוסף של מודלי שפה. הוא פונה למי שמנסה ללמד מודל קיים להבין ולייצר סינית שוטפת ממקורות מגוונים.
- 649הורדות בחודש
- 42לייקים
מה זה
הנתונים נאספו כבסיס להרחבת היכולות הסיניות של מודלים ממשפחת LLaMA2. המאגר מכיל כ־22GB של טקסט שנלקח משילוב של מאגרי קוד פתוח מוכרים כמו CLUE, ThucNews, CNews, COIG וכן ויקיפדיה. מעבר למאגרים הסטנדרטיים האלה, המפרסמים צירפו טקסטים נוספים שהם אספו בעצמם, הכוללים שירה סינית עתיקה, קטעי פרוזה וטקסטים בסינית קלאסית.
התוכן מחולק ל־19 קבצים שונים בפורמט jsonl. שמות הקבצים מעידים על תוכנם ומציגים פיצול ברור בין מקורות חדשותיים כמו CNewSum_v2, קובצי ספרות ושירה כמו chinese-poem ו־jinyong, וכן טקסטים בסינית עתיקה. נוסף על החלקים בסינית, מופיע במאגר גם קובץ מתוך falcon-refinedweb שמכיל טקסט רשת גולמי. המפרסמים מציינים שחלק גדול מהחומר נשען על חדשות, לצד מקורות ייחודיים שנועדו לכסות סגנונות כתיבה היסטוריים וספרותיים.
כרטיס הדאטהסט לא מפרט תהליכי סינון, ניקוי רעשים, הסרת כפילויות או בדיקות איכות שבוצעו על הטקסט לפני העלאתו. כל הנתונים מוגשים בצורת קובצי שורות טקסט ישירות, ללא הסבר על תבנית השדות הפנימית של כל רשומה.
מתאים ל
- אימון מקדים בסינית
הרחבת אוצר המילים והיכולת הלשונית של מודלי שפה בסינית מודרנית וקלאסית.
- ניתוח ספרות ושירה
אימון ועיבוד מודלים ייעודיים לסגנונות כתיבה מסורתיים מתוך קובצי השירה והפרוזה.
- מחקר על דחיסת ידע
בדיקת השפעת אימון מקדים בהיקף 22GB על ביצועי מודל במבחני ידע כללי.
איפה זה נופל
המפרסמים עצמם מודים במגבלה מרכזית בתוצאות CMMLU: רוב החומר מורכב מטקסטים חדשותיים, והנפח הכולל של 22GB אינו מספיק לאימון עמוק. בנוסף, המאגר מתמקד כמעט אך ורק בשפה הסינית ואין בו תוכן בעברית. הכרטיס לא מציין תאריכי איסוף או חלון זמנים, כך שלא ידוע עד כמה המידע עדכני, ואין תיעוד לגבי בדיקת הטיות, שפה פוגענית או זכויות יוצרים בקבצים כמו ספרי ג'ין יונג.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא מומלץ בכלל. המאגר מפורסם ללא רישיון מוגדר, וכולל קבצים של סופרים ספציפיים ללא אישור ברור, מה שיוצר סיכון של הפרת זכויות יוצרים.
האם יש במאגר טקסטים בעברית?
לא. כל המקורות שדווחו עוסקים בסינית, בתוספת קובץ רשת בודד שמקורו ב־falcon-refinedweb, כך שאין כאן שום מידע או תועלת לשפה העברית.
כמה שטח אחסון צריך כדי לעבוד איתו?
טקסט המקור תופס כ־22GB בסך הכל, המחולקים בין 19 קובצי jsonl. כדאי להכין שטח דיסק כפול מזה לצורך חילוץ, עיבוד מוקדם ובניית טוקנים לאימון.
איך המידע נאסף והאם עבר סינון?
היוצרים אספו שילוב של סטים מוכרים כמו CLUE ו־COIG לצד טקסטים ספרותיים שאספו בעצמם. כרטיס הדגם אינו מפרט תהליכי ניקוי או סינון רעשים שבוצעו בפועל.
איך טוענים
אתם מורידים את הנתונים ישירות מדף המאגר ב־Hugging Face דרך ספריית datasets או באמצעות כלי שורת הפקודה. המאגר פתוח לחלוטין ואינו דורש אישור גישה מראש. הנפח הכולל של הטקסט עומד על כ־22GB ומחולק בין 19 קבצים בפורמט jsonl, כמו למשל CNewSum_v2.jsonl או jinyong.jsonl. יש לוודא שיש לכם מספיק שטח אחסון וזיכרון עבודה לטעינת הקבצים, ולהגדיר קריאה שורתית שמתמודדת עם מבנה ה־JSON של כל מקור בנפרד.
from datasets import load_dataset
ds = load_dataset("YeungNLP/firefly-pretrain-dataset")הרישיון
הרישיון של המאגר לא דווח כלל בדף הפרויקט. המשמעות היא שאין הרשאה משפטית ברורה לשימוש מסחרי, להפצה מחדש או אפילו לאימון מודלים פנימיים בחברה. שילוב של טקסטים מספרות מוגנת כמו קובצי jinyong מגביר את הסיכון המשפטי, ולכן שימוש בו למוצר מסחרי עלול לחשוף אתכם לתביעות.