synthdog-ko
קוד פתוחnaver-clova-ixרישיון לא דווח2022-07-20
חצי מיליון מסמכים סינתטיים בקוריאנית שנוצרו לאימון מודלים להבנת מסמכים ללא מנוע זיהוי תווים חיצוני. המאגר מיועד למי שבונה מודל ראייה שצריך לקרוא טקסט קוריאני ישירות מתמונה.
- 1,482הורדות בחודש
- 18לייקים
מה זה
המאגר מכיל חצי מיליון דגימות סינתטיות של מסמכים בקוריאנית. הנתונים הופקו באמצעות כלי ייעודי בשם SynthDoG, שנועד לייצר תמונות מסמכים מגוונות יחד עם תיוג הטקסט המדויק שלהן עבור אימון מקדים של מודל Donut. החוקרים פיתחו את הכלי כדי לדמות מסמכים אמיתיים בלי להסתמך על סריקות ידניות שדורשות תיוג יקר ומסורבל.
הכרטיס במאגר אינו מפרט את מקורות הטקסט הגולמי שממנו נבנו המשפטים בקוריאנית, ולא מציין את תהליך הסינון שבוצע, אם בכלל. כל החומר מחולק לקובצי אימון ללא פיצול מובנה לסט בדיקה או אימות. מדובר בדאטהסט שמיועד בעיקר לחיקוי תנאי עולם אמיתי של פריסות עמוד, גופנים ורקעים, אך הפרטים הטכניים על אופן הדגימה נשארו במאמר המקורי ובמאגר הגיטהאב של הפרויקט.
מתאים ל
- אימון מקדים למודלי מסמכים
לימוד קריאת טקסט קוריאני מתמונות ללא מנוע OCR נפרד, כפי שנעשה במודל Donut.
- בדיקת חוסן למודלי ראייה
הערכת היכולת של מודלים מבוססי ראייה להתמודד עם פונטים ופריסות מגוונות בקוריאנית.
- מחקר על דאטה סינתטי
השוואת ביצועי מודל שאומן על נתונים שנוצרו במחשב לעומת מודל שאומן על סריקות אמיתיות.
איפה זה נופל
הנתונים כולם בקוריאנית ואין כאן עברית או תמיכה ביישור מימין לשמאל. מכיוון שמדובר במסמכים שנוצרו על ידי מחולל סינתטי ולא במסמכים סרוקים מהעולם האמיתי, המודל עלול להתקשות מול סריקות פגומות, כתמי דיו, או קימוטים פיזיים שלא נכללו במנוע הסינתזה. בנוסף, הכרטיס לא מספק מידע על תאריכי הדגימה של הטקסט, כך שקשה לדעת אם השפה עדכנית או מוטה לנושאים מסוימים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא מומלץ בכלל. המאגר פורסם ללא הגדרת רישיון, מה שאומר שאין לכם הרשאה חוקית להשתמש בו למוצרים מסחריים או לאמן עליו מודל שיופץ בעסק.
האם יש במאגר טקסט בעברית?
לא, המאגר הזה מכיל אך ורק מסמכים סינתטיים בקוריאנית. אם אתם מחפשים שפות אחרות, היוצרים שחררו גרסאות נפרדות לאנגלית, סינית ויפנית, אך אין גרסה לעברית.
מה המשקל והמבנה של הקבצים שצריך להוריד?
הדאטהסט מורכב מ־89 קבצים בסך הכל, מתוכם 86 קובצי פרקט שמכילים את התמונות והטקסטים של חצי מיליון הדגימות. מדובר בנפח אחסון גדול יחסית בגלל שמירת נתוני התמונה.
מאיפה הגיעו הנתונים שמרכיבים את המסמכים?
המסמכים יוצרו באופן ממוחשב באמצעות כלי בשם SynthDoG שפותח על ידי צוות המחקר. הכרטיס אינו מפרט מאילו מקורות טקסט נלקחו המילים שהוזנו למחולל.
איך טוענים
הנתונים מחולקים ל־86 קובצי פרקט תחת תיקיית data, החל מ־train-00000 עד train-00005 ועוד עשרות קבצים נוספים עד חלק 85. אין צורך לבקש אישור גישה מראש כדי להוריד אותם. בגלל כמות הקבצים והעובדה שמדובר בתמונות, ההורדה והעיבוד דורשים נפח אחסון משמעותי וחיבור רשת יציב. טוענים אותו ישירות דרך ספריית הדאטהסטס הרגילה בפייתון.
from datasets import load_dataset
ds = load_dataset("naver-clova-ix/synthdog-ko")הרישיון
היוצרים לא דיווחו על רישיון בעמוד המאגר. מבחינה משפטית, היעדר רישיון אומר שזכויות היוצרים שמורות להם במלואן ואין אישור מפורש לשימוש מסחרי, להפצה מחדש או אפילו לאימון מודלים מסחריים. שימוש בו לפרויקט עסקי מסוכן עד שהמפרסמים יבהירו את תנאי השימוש.