BioMysteryBench-preview
קוד פתוחAnthropiccc-by-4.02026-04-29
חמש שאלות מחקר מורכבות בביואינפורמטיקה שדורשות ניתוח קבצי נתונים ביולוגיים בפועל. המטרה היא לבחון אם מודל מבין נתונים גולמיים בלי להסתמך על חיפוש המקור ברשת.
- 23,146הורדות בחודש
- 20לייקים
מה זה
המאגר כולל חמש שאלות מתוך מבחן רחב יותר של תשעים בעיות שפיתחה אנתרופיק. בכל משימה מקבלים קבצי נתונים ביולוגיים שעברו אנונימיזציה, יחד עם שאלה מוגדרת שדורשת ניתוח אמיתי כדי לענות עליה. המבנה מורכב מקובץ טבלאי שמפרט את המזהה, השאלה, רובריקת הבדיקה, התחומים המותרים והשאלה האם אדם מסוגל לפתור אותה, לצד ארכיון קבצים בינאריים שמכיל תיקייה ייעודית לכל שאלה.
המשימות בתצוגה המקדימה מגוונות וכוללות זיהוי אורגניזם לפי מבנה גבישי, זיהוי חיידק מתוך רצף גנומי, פענוח פקטור שעתוק מקובץ נתוני פיקים, ספירת קבוצות רקמות מתוך קהילות מיקרוביאליות של בעלי חיים, וזיהוי המיקרו אר אן איי הנפוץ ביותר שקשור לרשימת גנים. שלוש מהשאלות מוגדרות כפתירות על ידי אדם ושתיים מוגדרות שלא, כאשר מקורות הנתונים המקוריים הוסוו כדי למנוע שליפה ישירה ממאגרי מידע גלובליים.
מתאים ל
- בדיקת יכולת ביואינפורמטית
הרצת מודלים על ניתוח רצפים ומבנים גבישיים גולמיים לבחינת היגיון מדעי.
- פיתוח סוכני מחקר
ולידציה של סוכנים אוטונומיים שצריכים להוריד קבצים, לקרוא אותם ולחלץ מסקנה.
- הערכת עמידות בחיפוש
בדיקה שהמודל מפענח נתונים בעצמו ולא שולף תשובות ישירות ממאגרי רשת גלובליים.
איפה זה נופל
זהו מדגם זעיר של חמש בעיות בלבד, כך שאי אפשר לבסס עליו הערכה כוללת ומובהקת סטטיסטית של מודל. כל החומרים כתובים באנגלית בלבד ועוסקים במונחים מדעיים ספציפיים מאוד, ללא תמיכה בעברית. כדי לשמור על תוקף הבדיקה, נאסר על המודל לחפש מזהי מאגרים בינלאומיים של מחקרים מקוריים כדי למצוא את התשובה מתוך מאמרים קיימים ברשת.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן, הרישיון שבו הוא מופץ מאפשר שימוש מסחרי מלא. התנאי היחיד הוא מתן קרדיט ברור לאנתרופיק וציון אם בוצעו שינויים בנתונים.
האם יש במאגר תוכן בעברית?
לא, כל השאלות, ההנחיות והקבצים הביולוגיים כתובים באנגלית בלבד. המושגים המדעיים וההגדרות מתבססים על המינוח המקובל בביואינפורמטיקה העולמית.
מה ההבדל בין גרסה זו למאגר המלא?
הגרסה הזו היא תצוגה מקדימה פתוחה שמכילה חמש בעיות בלבד. המאגר המלא כולל תשעים בעיות, דורש בקשת גישה מסודרת ומיועד להערכה מבוקרת בלבד.
איך בנויים קבצי הנתונים שמצורפים לשאלות?
לצד הקובץ הטבלאי ישנו ארכיון שמכיל תיקייה ייעודית עבור כל מזהה שאלה. התיקיות כוללות קבצי מידע גולמיים כמו מבנים גבישיים או נתוני פיקים שמהם המודל אמור לחלץ את התשובה.
איך טוענים
טוענים את קובץ הטבלה ישירות דרך פורמט פארקט או סי אס וי, ופותחים את ארכיון הנתונים בתיקיית העבודה שלכם לפני שמתחילים להריץ מודל. הרשומות כוללות את השדות הבסיסיים של השאלה והמזהה, אך העבודה האמיתית מתבססת על הגישה לקבצים הנלווים בתיקייה של כל מזהה. אין כאן תהליך אישור גישה מוקדם, להבדיל מהמאגר המלא שדורש אישור.
from datasets import load_dataset
ds = load_dataset("Anthropic/BioMysteryBench-preview")הרישיון
הנתונים מפורסמים ברישיון קריאייטיב קומונס 4.0 שמתיר שימוש מסחרי, שינוי והפצה, כל עוד מעניקים קרדיט מתאים למפרסמים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרי מודלים תחת אותו הרישיון, מה שמאפשר לבדוק עליו מודלים פנימיים בחופשיות.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס