databricks_dolly_15k

מה זה

המאגר כולל יותר מ־15,000 רשומות של שאלות ותשובות שנכתבו על ידי אלפי עובדי חברת דאטבריקס. העובדים התבקשו ליצור זוגות של הנחיה ותשובה בשמונה קטגוריות שונות, בהן סיעור מוחות, סיווג, מענה על שאלות פתוחות או סגורות, חילוץ מידע, סיכום וכתיבה יצירתית.

ההנחיות אסרו במפורש להשתמש בבינה מלאכותית יוצרת או במקורות רשת חיצוניים, למעט ויקיפדיה. עבור משימות כמו סיכום או חילוץ מידע, הכותבים הדביקו קטעים ישירות מוויקיפדיה לתוך שדה ההקשר. ההנחיות לכותבים היו תמציתיות במכוון כדי להשיג כמות גדולה של נתונים, ולא בוצע סינון קפדני לפי סרגל הערכה נוקשה.

מתאים ל

• אימון מודלי שיחה

  כוונון עדין של מודלי שפה למענה להוראות במגוון משימות יומיומיות באנגלית.

• ייצור דאטה סינתטי

  שימוש ברשומות כדוגמאות מעטות כדי לייצר מיליוני הנחיות חדשות בעזרת מודל שפה.

• אוגמנטציית נתונים

  ניסוח מחדש של השאלות והתשובות באמצעות מודל חיצוני כדי להרחיב את המאגר.

איפה זה נופל

הנתונים כולם באנגלית אמריקאית ואין כאן עברית בכלל. חלק מהכותבים אינם דוברי אנגלית כשפת אם, וההטיות ותחומי העניין בטקסטים משקפים את הדמוגרפיה של עובדי חברת הייטק אחת. הטקסטים שנלקחו מוויקיפדיה כוללים הפניות שלא נוקו, שגיאות עובדתיות והטיות נושאיות שקיימות באנציקלופדיה המקורית. ההנחיות היו קצרות ולכן איכות התיוג אינה אחידה.

איך טוענים

טוענים את המאגר ישירות דרך ספריית הדאטהסטס בלי צורך באישור גישה או בהרשמה מיוחדת, והוא זמין להורדה מיידית. המידע שמור בקובץ פרקט יחיד של סט האימון, כך שמדובר במשקל קל מאוד שמתאים גם לעבודה על מחשב נייד רגיל ללא שרת ייעודי. הרשומות מחולקות לעמודות הכוללות את ההנחיה, ההקשר והתשובה. לפני שמתחילים באימון המודל, צריך לנקות ידנית סוגריים עם מספרי הפניות שמקורם בהעתקות מוויקיפדיה ומופיעים בתוך שדה ההקשר.

from datasets import load_dataset

ds = load_dataset("HuggingFaceH4/databricks_dolly_15k")

הרישיון

המאגר מופץ ברישיון ייחוס ושיתוף זהה cc-by-sa-3.0, למרות שמטא-דאטא המאגר מציג cc-by-3.0. מותר להשתמש בו לצרכים אקדמיים ומסחריים, כולל שינוי והרחבה, אך נדרש לתת קרדיט לדאטבריקס ולוויקיפדיה. תנאי השיתוף הזהה עשויים לחייב אתכם להפיץ נגזרות של הדאטהסט תחת אותו רישיון.

הרישיון המלא ב־Hugging Face ↗