cosmopedia

מה זה

כל רשומה מכילה קטע טקסט סינתטי יחד עם הפרומפט שייצר אותו, מקור המידע ששימש כבסיס, קהל היעד, הפורמט וכמות הטוקנים. התוכן נוצר על ידי Mixtral-8x7B-Instruct-v0.1 שקיבל קטעי מקור ממגוון מאגרים ונתבקש לכתוב אותם מחדש כספרי לימוד, פוסטים, סיפורים או מאמרי הדרכה.

המאגר מחולק לשמונה חלקים לפי מקורות המידע. שני החלקים הגדולים מבוססים על דגימות רשת שעברו חלוקה לאשכולות נושאיים וסינון של תכנים לא לימודיים. שאר החלקים מבוססים על סילבוסים מסטנפורד, חומרי לימוד מ־OpenStax ומ־Khan Academy, שאלות מ־UltraChat ו־OpenHermes עבור סיפורים, וטקסטים מדעיים מ־AutoMathText. היוצרים הפעילו סינון כפילויות של MinHash והסירו דליפות של מבחני ביצועים מוכרים כמו MMLU ו־ARC.

מתאים ל

• אימון מודלי שפה קטנים

  טקסט סינתטי מובנה מספק איכות למידה גבוהה ומאפשר לבנות מודלים קומפקטיים יעילים.

• העשרת ידע מדעי ולימודי

  החלקים של סטנפורד ו־OpenStax מתאימים לחיזוק יכולות הוראה, פתרון בעיות והסבר מושגים.

• מחקר על דאטה סינתטי

  השוואת ביצועי אימון מול נתוני רשת גולמיים ובדיקת תופעות כמו חזרתיות והזיות.

איפה זה נופל

החומר כולו באנגלית בלבד. אין כאן עברית ולא תמצאו פה נתונים מקומיים. מעבר לכך, כל הטקסט מיוצר על ידי מודל שפה, ולכן הוא כולל הטיות סגנוניות של מודלים, טעויות עובדתיות סמויות והזיות פוטנציאליות. למרות מאמצי הגיוון בפרומפטים, קיימת חזרתיות מבנית בחלק מהטקסטים. המאגר מוגדר כגרסה v0.1 ולא כולל בקרת איכות אנושית על כל קובץ.

אותה משפחה

cosmopedia יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

טוענים תת-מאגר ספציפי דרך ספריית datasets בפייתון בעזרת הפקודה load_dataset עם ציון שם החלק, למשל stories, וחלוקת train. אין צורך באישור גישה או בהרשמה מיוחדת. הנתונים שמורים בקובצי parquet המחולקים לקבוצות. בכל רשומה חשוב לשים לב לשדות text שמכיל את התוכן, seed_data שמציין את המקור, ו־audience שמגדיר את רמת המורכבות. אם המאגר המלא כבד מדי, היוצרים שחררו גרסה מוקטנת של מאה אלף דוגמאות.

from datasets import load_dataset

ds = load_dataset("HuggingFaceTB/cosmopedia")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ואימון מודלים ללא תשלום תמלוגים. אתם נדרשים לשמור על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף נגזרות או מודלים שתאמנו תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗