teleprint-me/phi-1
קוד פתוחteleprint-mecc-by-nc-sa-3.02023-07-04
ניסיון עצמאי לשחזר את נתוני האימון הסינתטיים של מודל phi-1 מתוך ספרי לימוד במתמטיקה ומדעי המחשב. המאגר מציג שלד של פרויקט שנועד להכשיר מודלי שיחה להסברים פדגוגיים.
- 81הורדות בחודש
- 43לייקים
מה זה
הרשומות במאגר מתוכננות כמבנה של שיחה בין משתמש לעוזר בינה מלאכותית, סביב נושאי אלגברה, חשבון, גיאומטריה, חדו"א, אלגוריתמים ומבני נתונים, תבניות עיצוב ושפת פייתון. המידע נשען על שמונה ספרי לימוד מוכרים, ביניהם המדריך של בלייצר וספר האלגוריתמים של CLRS, לצד תיעוד מקוון של פייתון וקהילת Cppreference. החומרים עברו עיבוד ויצירה סינתטית באמצעות המודלים GPT-3.5 ו־GPT-4 כדי לקבל פורמט של דיאלוג לימודי.
למרות התיאור של חלוקה לסט אימון, ולידציה ובדיקה, המאגר בפועל מכיל תשעה קבצים בלבד שכוללים דיאגרמות, הסברים ודגימה בודדת בנושא חשבון בקובץ samples/arithemetic.json. יוצר המאגר מצהיר כי הפרויקט נמצא בשלב התחלתי של תכנון ואיסוף, ולכן הדאטהסט המלא אינו נוכח במאגר אלא רק דוגמאות ומסמכי תכנון.
מתאים ל
- השראה למבנה נתונים סינתטי
בחינת פורמט הדיאלוגים מבוססי ספרי לימוד לפי דגימת ה־JSON כדי להקים תהליך סינתזה עצמאי.
- מחקר על שחזור נתוני phi-1
קריאת מתודולוגיית העיבוד המתוכננת מתוך קובצי התיעוד והדיאגרמות של הפרויקט.
- בדיקת איכות של דגימות חשבון
בחינת יכולת הניסוח של דיאלוג לימודי על סמך הדוגמה הבודדת שקיימת במאגר.
איפה זה נופל
הבעיה המרכזית היא שהדאטהסט המלא כלל אינו זמין להורדה. היוצר מציין במפורש כי בשל זכויות יוצרים של ספרי הלימוד המקוריים, הוא לא ישחרר את הנתונים ללא אישור מפורש מכל המוציאים לאור. הטקסטים כולם באנגלית בלבד, ואין שום תמיכה בעברית. בנוסף, כל המידע עבר עיבוד של מודלי שפה מסחריים וסינון של אדם יחיד, מה שעלול להכניס שגיאות עובדתיות בנוסחאות או באלגוריתמים. לא הייתי בונה תוכנית עבודה על בסיס המאגר הזה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
לא, הרישיון המוגדר הוא CC-BY-NC-SA 3.0 שאוסר במפורש מטרות מסחריות. בנוסף לכך, היוצר מדגיש בעצמו שהמאגר מיועד אך ורק למחקר עצמאי ואינו מיועד לפעילות עסקית.
האם יש בדאטהסט תמיכה בעברית?
אין במאגר עברית כלל. כל ספרי הלימוד, התיעוד הטכני והדיאלוגים שנוצרו על ידי המודלים נכתבו בשפה האנגלית בלבד.
כמה נתונים יש בפועל בתוך המאגר?
המאגר כולל תשעה קבצים בסך הכל ואינו מכיל נפח נתונים של ממש. למעשה קיים בו רק קובץ דגימה אחד בפורמט JSON, ושאר הקבצים הם מסמכי הסבר ודיאגרמות.
מאיפה הגיעו הנתונים המוצגים?
החומרים מבוססים על שמונה ספרי לימוד אקדמיים באלגוריתמים ומתמטיקה, לצד אתרי תיעוד קוד. טקסט המקור עובד לסגנון שיחה באמצעות המודלים GPT-3.5 ו־GPT-4 של OpenAI.
איך טוענים
אי אפשר לטעון כאן דאטהסט מלא לאימון דרך Hugging Face. המאגר מכיל קובץ דגימה יחיד בפורמט JSON בשם arithemetic.json תחת תיקיית samples, לצד קובצי תיעוד ודיאגרמות mmd. כל רשומה בדיאלוג כוללת את השדות role עבור תפקיד הדובר ו־content עבור תוכן ההודעה. מפתחות הדוברים הם system, user, assistant ו־function. אין צורך באישור גישה כדי להוריד את הקבצים הבודדים שקיימים שם.
from datasets import load_dataset
ds = load_dataset("teleprint-me/phi-1")הרישיון
הרישיון המדווח הוא CC-BY-NC-SA 3.0. הוא אוסר שימוש מסחרי מכל סוג, דורש מתן קרדיט ליוצר, ומחייב להפיץ כל יצירה נגזרת תחת אותו הרישיון בדיוק. אם תאמנו מודל על בסיס הנתונים האלה, המודל עצמו יהיה כבול לאותן מגבלות לא מסחריות ושיתוף זהה.