nomic-embed-unsupervised-data
קוד פתוחnomic-aiרישיון לא דווח2025-01-18
זהו אוסף ענק של זוגות טקסט ששימש לאימון הראשוני של מודלי השיבוץ מסדרת Nomic Embed. מי שבונה מודל וקטורי משלו ימצא כאן תשתית רחבה לקונטרסטיב לרנינג.
- 1,655הורדות בחודש
- 21לייקים
מה זה
המאגר מציג את כלל המידע ששימש לשלב האימון המקדים הלא מפוקח של המודל. מדובר בזוגות טקסט בעלי קשר חלש שנאספו ממקורות שונים ברשת. בין המקורות אפשר למצוא שאלות ותשובות מפורומים כמו StackExchange ו־Quora, כותרות וגוף ביקורות מתוך Amazon reviews, וזוגות של כתבות חדשות לצד תקצירים מתוך מקורות כמו AG News.
הקשרים בין הטקסטים אינם תיוגים ידניים מדויקים אלא צימודים טבעיים שנובעים ממבנה הנתונים המקורי באינטרנט. החלוקה הפנימית משקפת את מקורות המידע הללו, כאשר הנתונים מאורגנים לפי נושאים ומקורות מקוריים כדי לאפשר אימון רב שלבי לפני המעבר לשלב הכוונון העדין שמתבסס על שאילתות חיפוש ותשובות מתויגות היטב.
מתאים ל
- אימון מקדים למודלי שיבוץ
אימון שלבי בסיס של מודלים וקטוריים על זוגות טקסט באנגלית.
- מחקר למידה קונטרסטיבית
בחינת שיטות כוונון על דאטה מגוון שמגיע מפורומים ומביקורות.
- שחזור תוצאות Nomic Embed
בדיקה והשוואה של תהליך האימון המתואר במאמר הטכני של החברה.
איפה זה נופל
הנתונים מוגדרים מראש כבעלי פיקוח חלש, מה שאומר שיש בהם רעש מובנה וצימודים לא מושלמים. המאגר מוגבל לשפה האנגלית בלבד, כך שאין כאן שום מידע בעברית או תמיכה רב לשונית. בנוסף, מדובר באיסוף מפורומים ומביקורות צרכניות, שכולל הטיות סגנוניות ואישיות שדורשות סינון קפדני לפני שמכניסים מודל כזה למוצר ייצורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
הרישיון בעמוד לא דווח ולכן אין אישור מפורש לשימוש מסחרי. החומרים נאספו ממקורות צד שלישי כמו אמזון ופורומים, ומומלץ להתייחס אליו ככזה שמיועד למחקר בלבד עד להבהרה רשמית.
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר ומכיל טקסטים בשפה האנגלית בלבד, שנאספו מאתרים דוברי אנגלית.
איך נאספו הנתונים שבפנים?
הנתונים נאספו בצורה אוטומטית ממקורות רשת פתוחים. הם כוללים שאלות ותשובות מ־Quora ו־StackExchange, ביקורות מוצרים מאמזון וסיכומי חדשות.
איך הנתונים מאורגנים טכנית להורדה?
המאגר מורכב מ־983 קובצי parquet המחולקים לפי שמות המקורות. אפשר לטעון רק חלקים ספציפיים לפי הצורך בלי למשוך את כל המאגר.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה או ישירות מקובצי ה־parquet. המאגר כולל 983 קבצים שמחולקים לפי מקורות, כמו amazon_reviews שמכיל לבדו 160 קבצים, agnews או altlex. אין צורך בבקשת אישור גישה מיוחדת, הנתונים פתוחים להורדה. לפני שמתחילים כדאי לקחת בחשבון את נפח הקבצים הגדול ולא להוריד את הכל בבת אחת לזיכרון מקומי מוגבל.
from datasets import load_dataset
ds = load_dataset("nomic-ai/nomic-embed-unsupervised-data")הרישיון
היוצרים לא דיווחו על רישיון רשמי בעמוד המאגר. מבחינה מעשית, היעדר רישיון אומר שאין היתר ברור לשימוש מסחרי, וכל שילוב שלו באימון מודל מסחרי חושף אתכם לסיכון משפטי. כל עוד לא פורסמו תנאים ברורים, השימוש מתאים בעיקר למחקר ולניסויים פנימיים.