KaLM-embedding-finetuning-data
קוד פתוחKaLM-Embeddingmit2025-10-05
אוסף ענק של מיליוני זוגות טקסט מסוננים לאימון מודלי שיבוץ (embeddings). הוא חוסך את הצורך ללקט ולארגן עשרות מאגרי חיפוש ודמיון סמנטי בנפרד.
- 2,146הורדות בחודש
- 31לייקים
מה זה
המאגר מאגד בתוכו עשרות דאטהסטים מוכרים ממקורות שונים, ומחלק אותם לשלוש קטגוריות עיקריות: אחזור (Retrieval), דמיון סמנטי (STS) וסיווג או אשכול (Classification). כל רשומה במאגר עברה עיבוד מוקדם ומגיעה במבנה אחיד שכולל שאילתה (query), רשימה עם דוגמה חיובית (pos, בדרך כלל פריט אחד), ורשימה של דוגמאות שליליות (neg, בדרך כלל שבעה פריטים).
התוכן נאסף ממאגרים ציבוריים מוכרים כמו MSMARCO, SQuAD, מגוון משימות מתוך MTEB, ומאגרים רפואיים, משפטיים וחדשותיים באנגלית, סינית ומעט רב-לשוני (כמו Aya ו־MIRACL). יוצרי המאגר סיננו את הנתונים באופן משמעותי: בחלק מהמקורות סוננו עשרות אחוזים מהרשומות, ובמאגרים מבוססי רשת כמו Reddit או StackExchange נחתכו מיליוני דוגמאות כדי להשאיר עשרות אלפי זוגות ממוקדים בכל קטגוריה.
מתאים ל
- אימון מודלי שיבוץ
פיין-טיונינג למודלים קיימים לחישוב קרבה סמנטית בעזרת דוגמאות חיוביות ושליליות מוכנות מראש.
- אחזור מידע למערכות RAG
אימון שלב ה־retriever במנועי חיפוש ארגוניים מבוססי אנגלית או סינית לשיפור דיוק השליפה.
- מיון וקיבוץ טקסטים
התאמת המודל למשימות סיווג נושאים וניתוח סנטימנט בהתבסס על ייצוגי וקטורים.
איפה זה נופל
הכיסוי הלשוני מתרכז כמעט כולו באנגלית ובסינית בלבד, והחלק הרב-לשוני מהווה חלק זעיר מהמאגר. אין פה עברית, כך שלא הייתי משתמש בו לאימון מודל שמיועד לשוק המקומי ללא הוספת דאטה מתאים. מעבר לכך, המאגר מורכב משילוב של מקורות משניים שעברו סינון אגרסיבי, אך הכרטיס לא מפרט כלל את קריטריוני הסינון, מה שמשאיר סימן שאלה לגבי הטיות או מחיקה של מקרי קצה חשובים.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר כולל רק אנגלית, סינית, ומעט שפות בתוך תתי-מאגרים רב-לשוניים נקודתיים כמו Aya ו־MIRACL. אם המטרה היא עבודה בעברית, המאגר הזה לא ייתן מענה ללא דאטה ייעודי נוסף.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוצהר בדף הוא MIT, שמתיר שימוש מסחרי מלא. יחד עם זאת, הנתונים הם לקט מעשרות מקורות עצמאיים ברשת, ולכן כדאי לוודא שאין סתירה מול תנאי השימוש של מקורות המקור הספציפיים שמעניינים אתכם.
מה מבנה הדוגמאות בכל רשומה?
כל שורה מכילה שאילתה יחידה, רשימת pos שמכילה לרוב דוגמה חיובית אחת, ורשימת neg שמכילה בדרך כלל שבע דוגמאות שליליות. המבנה הזה נבנה מראש כדי לחסוך עבודת הכנה ל־contrastive fine-tuning.
איך סוננו הנתונים במקור?
היוצרים מציגים בטבלה את כמויות הנתונים לפני ואחרי הסינון, אך הם לא פירטו בכרטיס את הלוגיקה או הכללים שלפיהם נזרקו הרשומות. מומלץ לדגום את הנתונים ידנית לפני האימון כדי להבין את איכות הסינון בפועל.
איך טוענים
הנתונים מחולקים ל־114 קבצי Parquet לפי שמות המקורות, ללא צורך באישור גישה מקדים. אפשר לטעון קבצים ספציפיים או תת-מאגרים דרך ספריית datasets באמצעות הנתיב הישיר. המבנה בכל שורה כולל query מסוג מחרוזת, pos כמערך מחרוזות, ו־neg כמערך מחרוזות, כך שהקריאה מוכנה ישירות לחישוב loss של ניגודיות (Contrastive Learning).
from datasets import load_dataset
ds = load_dataset("KaLM-Embedding/KaLM-embedding-finetuning-data")הרישיון
המאגר מפורסם ברישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, כולל אימון מודלים מסחריים וסגורים, בתנאי של מתן קרדיט. עם זאת, מכיוון שהנתונים לוקטו ממעל 50 מקורות שונים ברשת, מומלץ לבדוק את הרישיונות המקוריים של תתי-המאגרים לפני שמכניסים תוצרים למוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש