multimodal-python-copilot-training-overview
קוד פתוחmatlokother2024-01-23
זהו מאגר סקירה שמרכז נתוני קוד פייתון מלווים בתרשימי גרפים והקראות קוליות. הוא מתאים למי שבונה מודלים מולטימודליים להבנת קוד דרך טקסט, תמונה ואודיו.
- 64הורדות בחודש
- 28לייקים
מה זה
המאגר הנוכחי מתפקד כאינדקס מרכז לפרויקט רחב יותר, שכולל כ־2.3 מיליון שורות קוד מקור שנשלפו מ־1,258 מאגרי גיטהאב בתחומי בינה מלאכותית, למידת מכונה, מחשוב ותשתיות. המידע חולץ באמצעות ניתוח עצי תחביר של 283,637 קובצי פייתון, ושימש לבניית מערכי נתונים מקבילים של הוראות בפורמט אלפקה.
התוכן המלא מחולק לשלושה אפיקים נפרדים. טקסט של שאלות ותשובות שמסודרות במבנה יאמל, כ־923 אלף תמונות של גרפי ידע שנוצרו בספריית נטוורק-איקס ומסבירות מחלקות ויבוא, ומעל 334 אלף קובצי אודיו המקריאים את אותן שאלות ותשובות בשני קולות שונים.
מתאים ל
- אימון עוזרי קוד מולטימודליים
פיתוח מודלים שמבינים מבני קוד פייתון מורכבים דרך שילוב של טקסט, תרשימי זרימה והסברים קוליים.
- הסבר ארכיטקטורה וירושה
אימון מודלי ראייה לתרגום דיאגרמות מחלקות וקשרי ירושה לקוד מעשי בפועל.
- ממשקי תכנות קוליים
הערכה ובנייה של מערכות שאלות ותשובות קוליות למפתחים סביב ספריות קוד פתוח מובילות.
איפה זה נופל
כל הנתונים מבוססים על קוד פייתון בלבד ומגיעים מפרויקטים בתחום התשתיות והלמידה העמוקה, כך שאין כאן ייצוג לתחומי תוכנה אחרים או לשפות תכנות נוספות. כל הטקסטים וההקראות הם באנגלית בלבד. התמונות הן גרפים ממוחשבים ולא דיאגרמות אנושיות, והאודיו הוא הקראה מלאכותית שעלולה להכיל עיוותים בשמות פונקציות ומשתנים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
הרישיון מוגדר תחת סיווג כללי ולא מצוין היתר מסחרי מפורש. בנוסף, הקוד נאסף ממאות מאגרי גיטהאב שונים שלכל אחד מהם רישיון משלו, ולכן נדרשת בדיקה משפטית לפני שימוש מסחרי.
כמה שטח אחסון צריך כדי לעבוד עם כל הנתונים?
המערך המלא של כלל החלקים דורש כ־1.5 טרה-בייט בדיסק. דף הסקירה עצמו קטן מאוד, אך קובצי הפארקט של התמונות והאודיו שוקלים מאות גיגה-בייט בכל תת-מאגר.
האם המאגר כולל עברית?
לא, אין כאן עברית כלל. כל שאלות ההדרכה, התיאורים וההקראות הקוליות מבוססים על אנגלית טכנית בלבד.
איך הופק המידע בתוך הדאטהסט?
היוצרים סרקו 1,258 מאגרי פייתון וחילצו רכיבים בעזרת עצי תחביר. משם הם יצרו שאלות ותשובות במבנה אלפקה, הפיקו מהן גרפים בעזרת נטוורק-איקס, והקליטו את הטקסטים כקובצי שמע.
איך טוענים
הדף עצמו מכיל בעיקר תיעוד וקבצים בסיסיים, כשמערכי הנתונים עצמם מפוצלים למאגרים ייעודיים בפורמט פארקט. כדי להוריד את כלל הקבצים נדרש נפח אחסון של 1.5 טרה-בייט. ברשומות עצמן הקבצים הבינאריים שמורים תחת השדה dbytes, ולצידם שדות עזר כמו dbytes_len, file_path וכן recsize שמיועד לחלוקת עבודה יעילה בריבוי תהליכים.
from datasets import load_dataset
ds = load_dataset("matlok/multimodal-python-copilot-training-overview")הרישיון
הרישיון מוגדר כ־other ללא פירוט תנאים סטנדרטיים בדף הסקירה. המשמעות היא שאין היתר ברור לשימוש מסחרי, ואי אפשר לדעת מה המגבלות על מודלים שיאומנו עליו בלי לבדוק את קובץ הרישיון המצורף ואת הרישיונות של 1,258 המאגרים המקוריים שמהם נשאב הקוד.