open-phi/textbooks
קוד פתוחopen-phiרישיון לא דווח2023-10-03
המאגר כולל ספרי לימוד סינתטיים שנוצרו במטרה לשחזר את הגישה של אימון מודלים על חומר לימודי צפוף. מי שבונה מודל שפה ומחפש טקסטים עיוניים במקום זבל מהרשת ימצא כאן נקודת פתיחה.
- 4,214הורדות בחודש
- 95לייקים
מה זה
הרשומות במאגר הן טקסטים דמויי ספרי לימוד שנכתבו על ידי מודלים של בינה מלאכותית, ספציפית GPT-3.5 ו־GPT-4. הטקסטים מכסים קשת רחבה של נושאים, אבל הדגש העיקרי הוא על תוכן לימודי מובנה שנשען בחלקו על שליפת מידע ממקורות חיצוניים ובחלקו על כתיבה סינתטית לחלוטין.
התוכן נאסף משני פרויקטים שונים. החלק הראשון מגיע מיוזמת Textbook Quality וכולל 1,391 דוגמאות שמכילות בערך 48 מיליון טוקנים של טקסטים בנושאי תכנות, שנוצרו בעזרת שליפת מידע ממנועי חיפוש. החלק השני מגיע מפרויקט SciPhi וכולל 300 דוגמאות עם כ־38 מיליון טוקנים, שמשלבים ספרי לימוד כלליים שנוצרו על בסיס ויקיפדיה לצד טקסטים סינתטיים לגמרי.
מתאים ל
- אימון מקדים של מודלי שפה
הזנת טקסט לימודי מרוכז ומובנה במקום דפי אינטרנט גולמיים כדי לשפר יכולות הבנה.
- העשרת ידע בתכנות
שימוש בחלק של 48 מיליון הטוקנים כדי לחזק יכולות קידוד והסבר טכני במודל.
- בדיקת השפעת תוכן סינתטי
מחקר שבודק איך אימון על טקסט שנוצר ב־GPT משפיע על ביצועי מודל קטן יותר.
איפה זה נופל
הבעיה המרכזית כאן היא שכל הטקסט נוצר במכונה, על בסיס GPT-3.5 ו־GPT-4, מה שאומר שהזיות, חזרתיות וטעויות עובדתיות נכנסו פנימה. החומר נשען על מקורות כמו ויקיפדיה וחיפושים ברשת, כך שההטיות של המקורות האלה קיימות בפנים. המאגר פורסם באוקטובר 2023, והתיעוד לא מפרט תהליך סינון או בקרת איכות ידנית שנעשו אחרי היצירה. בנוסף, הכל באנגלית ואין פה תוכן בעברית כלל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לגעת בו לפעילות מסחרית כרגע. הדאטהסט פורסם ללא רישיון מוגדר, ומשפטית המשמעות היא שכל הזכויות שמורות ליוצרים ולא ניתנו הרשאות שימוש. בנוסף, החומר יוצר באמצעות מודלים של OpenAI, מה שעלול להוסיף מגבלות תנאי שימוש משלהם.
האם יש במאגר טקסטים בעברית?
אין במאגר עברית בכלל. כל החומר נוצר באנגלית ומבוסס על מקורות רשת וערכי ויקיפדיה באנגלית. אם אתם מחפשים לשפר ביצועים בעברית, תצטרכו לתרגם את החומר או לפנות למקורות אחרים.
איך החומר נאסף ונבנה בפועל?
הטקסטים נוצרו בצורה סינתטית באמצעות מודלי GPT-3.5 ו־GPT-4. חלק מהרשומות נבנו באמצעות שליפת מידע מחיפושים ברשת ומוויקיפדיה כדי לתת רקע למודל, וחלקן נכתבו ישירות על ידי המודל ללא מקור חיצוני, לפי החלוקה לשני הפרויקטים שמצוינים בתיעוד.
איך טוענים
אתם מושכים את הנתונים דרך ספריית datasets באמצעות המזהה open-phi/textbooks. אין פה צורך באישור גישה מוקדם או בהמתנה למפתחות, הקבצים פתוחים לציבור ויושבים בפורמט parquet סטנדרטי תחת קובץ יחיד שמכיל את נתוני האימון. בסך הכל המאגר מורכב משלושה קבצים, כולל התיעוד הבסיסי. לפני שאתם מתחילים להזרים אותו לצינור האימון, מומלץ לבדוק מקומית דגימה מהשורות כדי לראות את מבנה הטקסט ואורכי הרשומות, במיוחד בהתחשב בכך ששני החלקים נוצרו בשיטות שונות.
from datasets import load_dataset
ds = load_dataset("open-phi/textbooks")הרישיון
ליוצרי המאגר אין רישיון מדווח בכרטיס. במצב כזה ברירת המחדל המשפטית אומרת שאין לכם הרשאה מפורשת להשתמש בתוכן, לא לצרכים מסחריים ואפילו לא למחקר פנימי בתוך חברה. כל עוד היוצרים לא הגדירו רישיון מסודר, אימון מודל על הנתונים האלה מייצר סיכון משפטי ישיר למוצר שלכם.