Internal-Knowledge-Map
קוד פתוחSeverianmit2024-03-02
המאגר מכיל כ־4,685 דוגמאות מובנות להוראות מורכבות שמחברות בין תחומי ידע שונים. הוא מתאים למי שמנסה לאמן מודלים על חשיבה רב תחומית ופתרון בעיות מעבר לשאלות ותשובות רגילות.
- 146הורדות בחודש
- 49לייקים
מה זה
במאגר יש כ־4,685 רשומות סינתטיות שנבנו סביב רשת של קשרים בין תחומים כמו מדעים, טכנולוגיה, מדעי הרוח וסביבה. כל רשומה אינה סתם צמד של שאלה ותשובה, אלא כוללת מבנה מפורט של הנחיות מערכת, הוראות, מענה מורכב והרחבות שמדמות צמתים של ידע ומטא נתונים. המבנה עוצב כך שניתן לייצא אותו לקובצי מרקדאון ולקשר ביניהם בתוכנות כמו אובסידיאן.
כל המידע נוצר בצורה סינתטית במטרה לדחוף מודלים לחשיבה מופשטת ולפתרון בעיות סבוכות. היוצר מציין שהעבודה על הנתונים נמשכת, וכי קיימים בהם חלקים משונים ושגיאות שדורשים התאמות, מתוך כוונה להרחיב את המאגר בעתיד ליותר מעשרת אלפים שורות.
מתאים ל
- אימון מודלים על ידע מקושר
שימוש בטקסטים המובנים כדי ללמד מודל לחבר בין תחומי ידע שונים כמו מדעים ועיצוב.
- כיוונון עם קונטקסט ארוך
אימון עם תבנית המערכת וההוראות באורך 4096 טוקנים לשיפור מענה מפורט ומנומק.
- בניית גרף ידע במרקדאון
ייצוא המבנה לקובצי טקסט כדי לנתח רשתות קשרים וצמתים בנושאים מורכבים.
איפה זה נופל
כל הדאטהסט נוצר בצורה סינתטית באנגלית בלבד, ואין בו שום תמיכה בעברית. הכרטיס מודה בפירוש בקיומן של שגיאות, חלקים מוזרים שדורשים כוונון, והטיות שמשקפות את חומרי המקור בלי ייצוג למגוון נקודות מבט גלובליות. בנוסף, מדובר במאגר קטן יחסית שנמצא בתהליך עבודה, כך שאי אפשר להסתמך עליו לבדו לצורך אימון מודל סופי בלי סינון ידני ובדיקת עובדות קפדנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מפורסם תחת רישיון MIT שמתיר שימוש מסחרי ללא מגבלות על תוצרי האימון. התנאי היחיד הוא צירוף עותק של הרישיון המקורי והודעת זכויות היוצרים. עם זאת, בגלל שמדובר במידע סינתטי שנוצר במודל אחר, כדאי לוודא שאין מגבלות צד שלישי על הפלט המסחרי.
האם הדאטהסט כולל טקסטים בעברית?
לא, המאגר מוגדר כמאגר באנגלית בלבד וכל הדוגמאות בו כתובות בשפה זו. מי שרוצה להשתמש בו למוצרים בעברית יצטרך לתרגם את הנתונים במדויק או לאמן את המודל קודם באנגלית. השימוש בו מתאים בעיקר ליכולות הסקה ולא ללימוד השפה העברית.
מאיפה הנתונים הגיעו ואיך הם נאספו?
כל הנתונים במאגר נוצרו בצורה סינתטית במטרה לבנות מפת ידע מקושרת עם רעיונות מורכבים. היוצר לא השתמש באיסוף נתונים חיים מהאינטרנט אלא יצר את התכנים לפי תבניות של הנחיות מערכת והוראות מקושרות. הכרטיס מבהיר שהנתונים לא עברו ניקוי מושלם ויש בהם חלקים שדורשים התאמה.
במה המאגר הזה שונה ממאגרי הוראות רגילים?
במקום צמדים פשוטים של שאלה ותשובה, המאגר בנוי סביב קשרים רב תחומיים ומטא נתונים מפורטים על דרך החשיבה. המבנה מחקה צמתים של מידע עם תגיות והקשרים רחבים, שנועדו לאפשר אימון מדורג. בנוסף, הוא מותאם במיוחד לקריאה וקישור בפורמט מרקדאון.
איך טוענים
הנתונים יושבים בקובץ IKM5-Full.jsonl שפתוח להורדה ישירה בלי צורך באישור גישה. האימון דורש התייחסות לשני שדות מרכזיים, system ו־instruction, כאשר היוצר מציע אימון מדורג שמתמקד תחילה בהנחיות המערכת ורק אחר כך בהוראות, או לחלופין שילוב של שניהם יחד. ההגדרות המוצעות כוללות אורך רצף של 4096 טוקנים, גודל אצווה שנע בין 1 ל־4, וקצב למידה של 1e-7 עם לורה באלפא של 16 עד 32.
from datasets import load_dataset
ds = load_dataset("Severian/Internal-Knowledge-Map")הרישיון
המאגר מופץ ברישיון MIT חופשי ומתירני. הרישיון מאפשר שימוש מסחרי ומחקרי מלא, כולל שינוי של הנתונים, שילובם במאגרים אחרים ואימון מודלים מסחריים. תנאי השימוש היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי, בלי חובה לשתף נגזרות באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש