Matter-0.1
קוד פתוח0-heroapache-2.02024-03-07
המאגר מרכז כ־2.5 מיליון רשומות איכותיות שסוננו מתוך 35 מאגרי מידע שונים. הוא מתאים למי שמחפש כ־1.4 מיליארד טוקנים נקיים לאימון מודלים.
- 161הורדות בחודש
- 53לייקים
מה זה
הנתונים נלקחו מתוך פרויקט prompt-perfect וכוללים איחוד של כל הרשומות שקיבלו ציון 5 בלבד. המקור הראשוני מבוסס על לקט של 35 מאגרי מידע שונים, מתוכם נשלפו הדוגמאות הטובות ביותר במטרה לבחון שילובים שונים עבור אימון מודלים וליצור גרסת בסיס חזקה.
לפי התיעוד, החומר עבר תהליכי הסרת כפילויות וטיהור מהדלפות של מבחני ביצוע באמצעות הסקריפט של bagel שפיתח Jon Durbin. הרשומות כוללות כ־1.4 מיליארד טוקנים ומאורגנות תחת תיקיית המידע הסופי הנקי, המחולקת לעשרה קובצי חלוקה שונים ללא פירוט של חלוקה מוגדרת למבחן או אימות.
מתאים ל
- אימון מודלי שפה
אימון מודלים על כ־1.4 מיליארד טוקנים שעברו סינון איכות, הסרת כפילויות וטיהור נתונים.
- פיין טיונינג להוראות
שיפור ביצועי מענה באמצעות רשומות שקיבלו את ציוני האיכות הגבוהים ביותר במקור.
- מחקר על שילובי מידע
בדיקת תתי קבוצות של הנתונים כדי לראות איזה הרכב מייצר תוצאות עדיפות.
איפה זה נופל
כרטיס המאגר לא מפרט אילו שפות נכללות בפנים, וסביר להניח שרובו באנגלית, כך שאין שום הבטחה לנוכחות של עברית. לא מצוין מיהם 35 המאגרים המקוריים שמהם נשלפו הנתונים ומה היו הקריטריונים המדויקים למתן ציון 5, כך שקשה לדעת אילו הטיות תוכן נכנסו פנימה. בנוסף, חסר מידע על שמות השדות המדויקים בכל רשומה ועל מבנה הנתונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי מלא. הדרישה העיקרית היא לכלול את הודעת זכויות היוצרים ואת נוסח הרישיון המקורי.
האם יש במאגר תמיכה בעברית?
התיעוד אינו מציין את השפות הכלולות ברשומות. המקורות נאספו ממאגרים כלליים ברשת, ולכן סביר להניח שהטקסט ברובו באנגלית ואין להסתמך עליו למשימות בעברית.
איך נאסף המידע ואיך הוא סונן?
הנתונים נשלפו מתוך מאגר בשם prompt-perfect, שאיגד במקור 35 דאטהסטים שונים. מתוכם נשמרו רק רשומות שקיבלו ציון איכות 5, והחומר נוקה מכפילויות ומהדלפות בדיקה באמצעות סקריפט ייעודי.
איך מומלץ למשוך את הקבצים בלי להוריד זבל?
היוצר מספק קוד פייתון פשוט שמשתמש בספריית huggingface_hub ומגדיר הורדה רק עבור התיקייה final_set_cleaned. כך מדלגים על קבצים פנימיים מיותרים שקיימים בריפו.
איך טוענים
המאגר שמור בפורמט Arrow ומחולק לעשרה קבצים שונים תחת התיקייה final_set_cleaned. הגישה אליו פתוחה ואינה דורשת אישור מיוחד מצד המפרסם.
כדי להוריד אותו בפועל, היוצר ממליץ במפורש להשתמש בפקודת snapshot_download מתוך ספריית huggingface_hub, ולהגדיר תבנית שתוריד רק את הנתיב final_set_cleaned כדי לא לבזבז נפח אחסון על קבצים מיותרים שקיימים במאגר.
from datasets import load_dataset
ds = load_dataset("0-hero/Matter-0.1")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי והפצה של הנתונים, ואינו מחייב אתכם לפתוח את הקוד או את המודל שתאמנו עליו באותו האופן. כל מה שנדרש הוא לתת קרדיט ולצרף עותק של תנאי הרישיון והודעות זכויות היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים