oak
קוד פתוחtabularisaiapache-2.02024-07-07
טקסט סינתטי של מעל 650 מיליון טוקנים שנבנה על בסיס קטגוריות מוויקיפדיה. מתאים למי שמחפש חומר אימון מגוון באנגלית שנוצר על ידי שילוב של כמה מודלים מובילים.
- 225הורדות בחודש
- 38לייקים
מה זה
המאגר מכיל בין מאה אלף למיליון רשומות שמיועדות לאימון מודלי שפה ליצירת טקסט. הנתונים לא נאספו ישירות מהאינטרנט אלא יוצרו בצורה סינתטית לחלוטין. התהליך התחיל בחילוץ נושאים ראשיים מתוך ויקיפדיה, פירוק שלהם לתתי נושאים מפורטים באמצעות GPT4o, ואז בניית פרומפטים בטכניקות של מטא פרומפטינג.
הטקסט הסופי עצמו נוצר מתערובת של מודלים מובילים, כולל GPT4o, גרסאות שונות של LLaMa3, Mixtral ודגמי Gemma. המטרה של היוצרים היתה לכסות תחומי ידע רחבים בלי לקצור תוכן מוגן ברשת, תוך הסתמכות על יכולת הניסוח והידע של המודלים המייצרים.
מתאים ל
- אימון מקדים של מודלי שפה
שימוש בטקסט הסינתטי להרחבת בסיס הידע של מודלים באנגלית על פני מגוון קטגוריות רחב.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של אימון על פלטים ממודלים מעורבים כמו GPT4o ומיקסטרל מול טקסט אנושי.
- התאמת מודלים לייצור טקסט
כוונון עדין של מודלי open-source למשימות יצירת תוכן כללי המבוסס על מבנה ויקיפדי.
איפה זה נופל
הנתונים כולם באנגלית, בלי אף מילה בעברית או בשפות אחרות. מעבר לזה, מדובר בטקסט סינתטי לחלוטין שנוצר על ידי מודלים, ולכן הוא כולל את ההטיות, השגיאות וההזיות האופייניות להם. היוצרים עצמם מציינים שחובה לשים לב להטיות פוטנציאליות. נקודה קריטית נוספת היא סתירה מפורשת בדף המאגר: הרישיון המוצהר הוא Apache 2.0, אבל בדיסקליימר למטה נכתב שהשימוש מיועד למחקר בלבד. אסור להכניס את זה למוצר מסחרי בלי לברר את הנקודה הזו מולם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי הוא Apache 2.0 שמאפשר שימוש מסחרי, אבל כותבי המאגר ציינו במפורש בהערות שהוא מיועד למחקר בלבד. בגלל חוסר ההתאמה הזה, לא כדאי להסתכן בשימוש מסחרי בלי אישור כתוב מהיוצרים.
האם המאגר מכיל תוכן בעברית?
לא. המאגר מוגדר ומכיל טקסט בשפה האנגלית בלבד. הוספת שפות נוספות מופיעה רק כתוכנית עבודה עתידית של הפרויקט.
איך אספו את המידע שיש בפנים?
המידע לא נסרק מהרשת ישירות. הצוות לקח נושאים מרכזיים מוויקיפדיה, פירק אותם לתתי נושאים בעזרת GPT4o, ויצר את פסקאות הטקסט באמצעות שילוב מודלים פתוחים ומסחריים כמו Gemma, LLaMa3 ו־Mixtral.
איך המידע מחולק בפועל בקבצים?
הנתונים מחולקים לשמונה קובצי parquet נפרדים של train. אין חלוקה מובנית לחלקי validation או test, כך שתצטרכו לפצל את הנתונים בעצמכם בהתאם לצרכי האימון.
איך טוענים
טוענים את המידע ישירות בעזרת load_dataset של Hugging Face מהנתיב tabularisai/oak עם ציון split=train. אין צורך לבקש אישור גישה מראש והמאגר פתוח להורדה מיידית.
כל התוכן יושב בשמונה קובצי parquet תחת תיקיית data, לצד קובץ README. מומלץ לוודא שיש מספיק מקום פנוי בדיסק ובזיכרון לעיבוד קבצי parquet מרובים לפני שמתחילים את הריצה.
from datasets import load_dataset
ds = load_dataset("tabularisai/oak")הרישיון
הרישיון המדווח במערכת הוא apache-2.0, שבאופן רגיל מתיר שימוש מסחרי, שינוי והפצה תחת ייחוס. עם זאת, היוצרים הוסיפו הערה בטקסט לפיה המאגר מיועד למטרות מחקר בלבד. הסתירה הזו מסוכנת למי שמתכנן לאמן מודל מסחרי, ומוטב לפנות אליהם במייל לפני כל שימוש עסקי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים