LessWrong-Amplify-Instruct

מה זה

המאגר כולל מעל חמש מאות שיחות סינתטיות רב־שלביות, כשהאורך הממוצע של כל שיחה עומד על מעל אלפיים טוקנים. הבסיס לכל התוכן הוא אלפי פוסטים שנקצרו מאתר LessWrong, הידוע בדיונים על רציונליות ואינטליגנציה מלאכותית. מתוך הטקסטים האלה, המפתח הפעיל תהליך מבוסס GPT-4 שבו המודל שיחק תפקיד כפול, הן כשואל והן כמשיב, כדי לפתח דיון עמוק בנושאים נידחים ומורכבים.

הסינון כלל ניקוי של ביטויים טיפוסיים למודלים, כמו הצהרות בסגנון כמודל שפה או אזכורים לתאריך חיתוך המידע של ספטמבר 2021. אין במאגר חלוקה מוגדרת למקטעי אימון ומבחן, אלא קובץ יחיד שמרכז את כלל השיחות שסוננו.

מתאים ל

• תוספת לאימון שיחה קיים

  חיזוק דאטהסט גדול יותר בשיחות ארוכות ומעמיקות בנושאים אינטלקטואליים מורכבים.

• אימון להקשר ארוך

  חשיפת המודל לרצפי שיחה של מעל אלפיים טוקנים לשיפור שמירת הקשר לאורך זמן.

• הערכת עומק רעיוני

  בדיקת יכולת המודל להתמודד עם שאלות המשך מורכבות בדיונים מופשטים.

איפה זה נופל

פחות מחמש מאות ומשהו שיחות זה מעט מדי, והיוצר עצמו מצהיר שהמאגר לא מספיק לאימון בפני עצמו. התוכן כולו באנגלית בלבד, ואין פה מילה בעברית. מעבר לכך, כל הטקסט יוצר על ידי GPT-4, כך שקיימת סכנה להזיות שטרם אומתו בידי מומחים, בייחוד בנושאי מדע מדויקים. המאגר פורסם בספטמבר 2023 ומבוסס על תפיסות של קהילה מאוד ספציפית, כך שההטיה התרבותית והתמטית ניכרת.

איך טוענים

טוענים את הקובץ LessWrong_Amplify-Instruct.jsonl ישירות מספריית datasets בלי צורך באישור גישה מוקדם או במפתחות מיוחדים. מדובר במאגר קטן מאוד של פחות מאלף רשומות, כך שהוא יורד ונפתח תוך שניות בודדות ולא דורש זיכרון עבודה מיוחד. הקובץ מכיל את השיחות בפורמט שמתאים למשימות שיחה ויצירת טקסט.

from datasets import load_dataset

ds = load_dataset("LDJnr/LessWrong-Amplify-Instruct")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של הנתונים והמודלים שמאומנים עליהם. התנאי המרכזי הוא מתן קרדיט נאות ליוצרים, שמירה על הודעת הרישיון וציון אם נעשו שינויים בקבצים. אין חובת שיתוף תחת אותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗