samhitika-0.0.1
קוד פתוחkhoomeikmit2025-05-21
המאגר כולל כארבעים מיליון משפטים שתורגמו מאנגלית לסנסקריט באופן סינתטי. הוא מיועד בעיקר למי שמחפש נפח טקסט גדול לניסויי קדם אימון בשפה הזו ולא חושש מאיכות נמוכה.
- 36הורדות בחודש
- 27לייקים
מה זה
הנתונים נוצרו מתרגום ישיר של קורפוס הספרים BookCorpus מאנגלית לסנסקריט בכתב דוונאגרי. התהליך כולו רץ משפט אחרי משפט דרך המודל Gemma3-27b בדיוק bf16, באמצעות פרומפט שדרש תרגום נקי ללא אנגלית ובתוך בלוק קוד. התוצאה הניבה בערך 1.5 מיליארד טוקנים של המודל הזה.
כל רשומה במאגר כוללת שני שדות פשוטים בלבד: מזהה בשם bookcorpus_id שמאפשר לחזור למשפט המקור באנגלית, ושדה text שמכיל את התרגום שנוצר בסנסקריט. הקובץ המרכזי שמחזיק את כל הנתונים האלה שמור בפורמט translations.parquet.
לא נעשה כאן סינון איכות, ניקוי ידני או עיבוד מקדים לאחר הריצה. היוצר מגדיר את הגרסה הזו כסקיצה ראשונית לגמרי, שמטרתה רק לאפשר ניסויים ראשוניים לפני שיפורסמו מאגרים סינתטיים מסודרים יותר.
מתאים ל
- ניסויי קדם אימון
אימון ראשוני של מודלים קטנים בסנסקריט על נפח גדול של טקסט סינתטי.
- אוגמנטציה למערכות OCR
הרחבת נתוני טקסט בכתב דוונאגרי לאימון מודלים של זיהוי תווים לאחר סינון.
- מחקר על שגיאות תרגום
בדיקת הזיות וגלישה להינדי במודלים גנרטיביים שמתרגמים שפות עתיקות.
איפה זה נופל
האיכות נמוכה מאוד, והיוצר מזהיר מפניה במפורש. המודל שתרגם ייצר שגיאות תרגום רבות ולעיתים קרובות גלש להינדי במקום להישאר בסנסקריט. הנתונים לא מתאימים לאימון מודלים חכמים יותר מ־GPT-2 בשפה הזו. אין כאן עברית כלל, אלא רק סנסקריט שמקורה בספרים באנגלית. אסור להכניס את הטקסט הזה ישירות למוצר בלי ניקוי אגרסיבי וסינון עמוק של המשפטים הפגומים.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון שצוין הוא MIT ומאפשר שימוש מסחרי חופשי. עם זאת, איכות הטקסט נמוכה מאוד, כך שמבחינה מעשית קשה להסתמך עליו במוצר סופי ללא עיבוד וסינון כבדים.
האם יש במאגר טקסט בעברית?
לא, אין כאן עברית בכלל. הטקסט כולו הוא תרגום של ספרים מאנגלית לסנסקריט בכתב דוונאגרי בלבד.
איך נאספו ונוצרו הנתונים בפועל?
היוצר לקח כארבעים מיליון משפטים מתוך BookCorpus ותרגם אותם משפט אחרי משפט בעזרת המודל Gemma3-27b בדיוק bf16. התהליך היה אוטומטי לחלוטין וללא בדיקת איכות אנושית.
למה שהמאגר הזה יעניין חוקרים למרות האיכות הנמוכה?
סנסקריט סובלת ממחסור חמור בנתונים דיגיטליים בהיקף גדול. המאגר מספק 1.5 מיליארד טוקנים לניסויים שדורשים נפח גולמי ולא טקסט מושלם, כמו בדיקת התנהגות מודלים בקדם אימון או אימון כלי OCR.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets דרך המזהה khoomeik/samhitika-0.0.1. אין צורך לבקש אישור גישה מראש. הקובץ העיקרי הוא translations.parquet, כך שהעבודה מתבצעת מול פורמט עמודות סטנדרטי. כדי לעבוד איתו צריך לקרוא את השדות bookcorpus_id ו־text, ולהביא בחשבון שמדובר בכארבעים מיליון שורות, נפח שמחייב עיבוד בבלוקים או זיכרון עבודה גדול במיוחד.
from datasets import load_dataset
ds = load_dataset("khoomeik/samhitika-0.0.1")הרישיון
המאגר פורסם תחת רישיון MIT. המשמעות היא שאתם חופשיים לעשות בו שימוש מסחרי, לשנות אותו, לחלק אותו ולבנות עליו מודלים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף מודל שאומן עליו באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש