gooaq

מה זה

המאגר מכיל בין מיליון לעשרה מיליון רשומות שמחולקות לצמדים של שאלות ותשובות באנגלית. המידע הגיע במקור מגוגל, דרך פרויקט GooAQ של מכון אלן, ונלקח מתוך מאגר נתוני האימון הכללי של צוות sentence transformers.

המבנה כאן פשוט מאוד וכולל תת קבוצה אחת בשם pair, שבה יש שתי עמודות טקסט בלבד, question ו answer. שאלה אופיינית נראית כמו שאילתת חיפוש ישירה, למשל האם תרופה מסוימת זהה לאחרת, והתשובה היא הפסקה המלאה שמסבירה את ההבדלים והשימושים הרפואיים.

לפי התיעוד הנתונים לא עברו ניקוי כפילויות. המשמעות היא ששאלות דומות או תשובות חוזרות עשויות להופיע כמה פעמים בקבצים, בלי סינון מוקדם של המפרסמים.

מתאים ל

• אימון מודלי שיבוץ

  לימוד קשר סמנטי ישיר בין שאילתת חיפוש קצרה לפסקת התשובה המתאימה.

• בניית רכיב שליפה לחיפוש

  התאמת המודל למשימות דמיון טקסטואלי במערכות שאלות ותשובות באנגלית.

• חילוץ מאפיינים מטקסט

  יצירת וקטורים איכותיים לשאלות משתמשים כדי לאתר מסמכים קרובים.

איפה זה נופל

הנתונים כולם באנגלית, כך שאין כאן שום מענה למי שבונה מודל בעברית. הבעיה העיקרית בדאטהסט היא שהמפרסמים מציינים במפורש שהוא לא עבר תהליך של הסרת כפילויות, מה שעלול לנפח משקלים באימון סביב נושאים פופולריים. בנוסף, מדובר בתשובות שנמשכו מגוגל, ולכן צריך לבדוק היטב את אמינות התוכן לפני שמסתמכים עליו כמקור אמת במוצר קצה.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets עם הנתיב של המאגר. אין צורך באישור גישה מוקדם, הכל פתוח להורדה. החלוקה הפנימית מבוססת על תת הקבוצה pair שנשמרת בשני קובצי parquet נפרדים של train. שתי העמודות שמעניינות אתכם הן question ו answer, שמוכנות מיד לעבודה עם sentence transformers לחילוץ מאפיינים ודמיון בין משפטים.

from datasets import load_dataset

ds = load_dataset("sentence-transformers/gooaq")

הרישיון

הרישיון של המאגר לא דווח כלל בעמוד הדגם. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת אילו הגבלות חלות על מודל שתאמנו עליו. אם אתם בונים מערכת מסחרית בארגון, מדובר בסיכון משפטי ומוטב לבדוק את הרישיון המקורי בפרויקט של אלן לפני השימוש.

הרישיון המלא ב־Hugging Face ↗