huatuo26M-testdatasets

מה זה

המאגר כולל תת קבוצה מתוך פרויקט Huatuo-26M, ומכיל בדיוק 6,000 רשומות ששימשו את החוקרים לניסויי יצירת שפה טבעית במאמר המקורי שלהם. הנתונים מתמקדים בשאלות ותשובות בתחום הרפואה בסינית, במטרה לבחון דיוק, רלוונטיות והבנה של מונחים מקצועיים.

לפי כרטיס הדאטהסט, כל הרשומות עברו אנונימיזציה מלאה כדי להגן על פרטיות המטופלים ולעמוד בכללי הגנת המידע. הכרטיס אינו מפרט חלוקה פנימית לקטגוריות רפואיות שונות או את מקורות האיסוף הספציפיים מתוך 26 מיליון הרשומות של הפרויקט הרחב, אלא מציג את הקובץ כחבילת בחינה אחת.

מתאים ל

• בנצ'מרק למודלים רפואיים

  הרצת ששת אלפים השאלות מול מודל שפה כדי לבדוק דיוק תשובות והבנת מושגים רפואיים בסינית.

• בדיקת איכות יצירת שפה

  מדידת יכולת המודל לייצר ניסוחים טבעיים וקוהרנטיים בהקשרים של שיחה רפואית.

• השוואה לתוצאות המאמר

  שימוש בסט המדויק ששימש את מפתחי Huatuo כדי להשוות ביצועים מול הממצאים שפורסמו.

איפה זה נופל

הנתונים כולם בסינית בלבד, כך שהם לא יעזרו להערכת מודלים בעברית או באנגלית. הכרטיס לא מפרט מהם תחומי הרפואה שנבדקים ואין תיעוד לגבי שנת האיסוף של המידע המקורי, נקודה קריטית ברפואה שבה הנחיות וטיפולים משתנים. בנוסף, לא פורטו המדדים המדויקים שנבדקו בניסויים מעבר להצהרה כללית על אנונימיזציה, ולכן חובה לבדוק את התשובות ידנית לפני שמסתמכים עליהן במוצר אמיתי.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה FreedomIntelligence/huatuo26M-testdatasets, ללא צורך באישור גישה מיוחד. המאגר כולל ארבעה קבצים, והמידע עצמו יושב בקובץ test_datasets.jsonl לצד סקריפט הטעינה my_dataset.py. בגלל שמדובר בסט של ששת אלפים דוגמאות בלבד, ההורדה מהירה מאוד ואינה דורשת משאבי אחסון חריגים.

from datasets import load_dataset

ds = load_dataset("FreedomIntelligence/huatuo26M-testdatasets")

הרישיון

הרישיון המדווח הוא apache-2.0, והוא מאפשר שימוש מסחרי ומחקר חופשי, כולל שינוי הקוד והפצה מחדש. המשמעות היא שאתם יכולים להעריך מודלים פנימיים או מסחריים בלי לחשוף אותם, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗