SynthCodeNet
קוד פתוחdocling-projectcdla-permissive-2.02025-07-15
מעל 9.3 מיליון זוגות סינתטיים של תמונות קוד וטקסט ב־56 שפות תכנות שונות. זה מיועד למי שבונה מודלים רב-מודאליים שמחלצים ומתעתקים קוד מתוך מסמכים.
- 3,794הורדות בחודש
- 15לייקים
מה זה
המאגר כולל 9,334,257 רשומות שמיועדות לאימון מודלים של ראייה ושפה. כל רשומה מורכבת מתמונה שנוצרה באופן סינתטי ברזולוציה של 120 DPI באמצעות LaTeX ו־Pygments, לצד טקסט הקוד התואם. קטעי הקוד עצמם נאספו ממקורות ברישיונות מתירניים ומכסים 56 שפות תכנות, כולל שפות נפוצות מאוד לצד שפות נישתיות.
החלוקה הפנימית מוגדרת היטב. יש 8,400,838 דוגמאות בסט האימון, 466,703 בסט הוולידציה ו־466,716 בסט הבדיקה. המבנה של כל פריט כולל תמונה של הקוד לצד מבנה טקסטואלי שמכיל תגיות מיקום של הקוד בתמונה, הגדרת השפה והטקסט המקורי של הקוד.
מתאים ל
- אימון חילוץ קוד ממסמכים
לימוד מודלי ראייה לזהות ולתמלל במדויק בלוקים של קוד מתוך קובצי PDF ומאמרים.
- זיהוי שפות תכנות בתמונה
אימון רשתות לסווג שפת תכנות מתוך צילום או רינדור של קוד, בזכות התיוג של 56 שפות שונות.
- איתור מיקום קוד בדף
שימוש בתגיות המיקום המובנות כדי לאמן מודלים להחזיר תיחום מדויק של קטע הקוד בתוך המסמך.
איפה זה נופל
כל התמונות כאן נוצרו ברינדור סינתטי אחיד דרך LaTeX ו־Pygments ברזולוציה של 120 DPI בלבד. זה אומר שאין כאן צילומי מסך אמיתיים, צילומים של דפים מודפסים, זוויות עקומות או עיוותי סריקה מהעולם האמיתי. בנוסף, קיים חוסר איזון קיצוני בין השפות: בעוד שפייתון מיוצגת עם כמעט 1.8 מיליון דוגמאות, שפות כמו bc או Matlab מקבלות מאות או אלפים בודדים של דגימות בלבד. אם המוצר שלכם צריך לתמלל קוד מספרים ישנים או מצילומי מסך מטושטשים, הנתונים האלה לבדם לא יספיקו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון מסוג cdla-permissive-2.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים שנמכרים כשירות. צריך רק לשמור על תנאי הקרדיט של הרישיון.
האם יש במאגר קוד בעברית או הערות בעברית?
הכרטיס לא מציין תמיכה בעברית ומפרט רק שפות תכנות שמבוססות על טקסט באנגלית ובתווים לטיניים. סביר להניח שאין כאן טקסטים או הערות בעברית.
איך נאספו ונוצרו הנתונים?
טקסט הקוד נאסף ממאגרים חיצוניים בעלי רישיונות מתירניים. התמונות עצמן לא צולמו מהאינטרנט אלא רונדרו באופן ממוחשב ומבוקר באמצעות LaTeX וספריית Pygments.
כמה מקום צריך בשביל להשתמש בזה?
המאגר כולל מעל 9.3 מיליון זוגות תמונה וטקסט ביותר מ־2,200 קובצי Parquet. מדובר בנפח אחסון גדול מאוד שלא מפורט במספר גיגה-בייט מדויק, ולכן עבודה בהזרמה היא הבחירה ההגיונית להתחלה.
איך טוענים
המאגר מחולק לקובצי Parquet, עם לפחות 114 קבצים רק עבור סט הבדיקה ומעל 2,200 קבצים בסך הכל. אין צורך בבקשת אישור גישה והמאגר פתוח להורדה. בשל הכמות העצומה של הדגימות והתמונות, מומלץ להזרים את הנתונים ישירות ולא להוריד את כל הנפח מראש. השדות המרכזיים בכל רשומה הם images שמכיל את תמונת הקוד, ושדה texts שמחזיק את קואורדינטות המיקום, שפת התכנות והטקסט.
from datasets import load_dataset
ds = load_dataset("docling-project/SynthCodeNet")הרישיון
המאגר מופץ תחת רישיון cdla-permissive-2.0. הרישיון הזה מתיר שימוש מסחרי ומאפשר לאמן מודלים, לשנות את הנתונים ולשתף אותם הלאה, בלי דרישה לשתף תוצרים תחת אותו הרישיון. חובת השימוש המרכזית היא שמירה על פרטי הרישיון והקרדיט המקורי.