routerbench
קוד פתוחwithmartianרישיון לא דווח2024-03-04
מעל 30,000 פרומפטים עם תשובות מ־11 מודלי שפה שונים כדי להחליט לאן לנתב שאילתות. המטרה כאן היא לאמן מערכות שמבינות איזה מודל ייתן את המענה הנכון במחיר הנמוך ביותר.
- 1,246הורדות בחודש
- 30לייקים
מה זה
המאגר מציע מעל 30,000 רשומות שמיועדות לאימון והערכה של ניתוב בין מודלים שונים. הפרומפטים נלקחו ממבחנים סטנדרטיים מוכרים כמו MBPP, GSM-8k, Winogrande, Hellaswag, MMLU ו־MT-Bench. לכל שאילתה כזו יש תשובה נכונה מוגדרת מראש, והיא נבדקה מול הפלטים של 11 מודלים נפרדים.
המבנה הפנימי מחולק לשתי גרסאות עיקריות, אחת מבוססת על תוצאות בריצת אפס דוגמאות והשנייה עם חמש דוגמאות בפרומפט. בכל שורה שמורה השאילתה המקורית, התשובה שסיפק המודל הספציפי, הערכת העלות הכספית של אותה תשובה, וציון ביצועים שקובע אם המודל ענה נכון או שגה בהשוואה לתשובת הייחוס.
מתאים ל
- אימון נתב מודלים
בניית מסווג שמחליט בזמן אמת לאיזה מודל לשלוח פרומפט לפי סיכויי ההצלחה שלו.
- אופטימיזציית עלויות
שילוב נתוני המחיר והביצועים כדי לצמצם הוצאות API בלי לפגוע בדיוק של המערכת.
- השוואת ביצועי מודלים
בדיקה השוואתית ישירה בין פלטים של 11 המודלים השונים על אותן משימות מוכרות.
איפה זה נופל
כל הטקסט במאגר מוגבל לאנגלית בלבד, כך שאי אפשר להעריך עליו ניתוב בעברית. הנתונים מתבססים כולם על מבחנים קלאסיים ולא על תעבורת משתמשים אמיתית מעולם החי, ולכן הם פחות מייצגים ניסוחים חופשיים או משימות פרודקשן מורכבות. בנוסף, העלויות והביצועים מקובעים למה שנמדד סביב תחילת 2024 עבור אותם 11 מודלים, בזמן שמחירי השוק וגרסאות המודלים משתנים כל הזמן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
המאגר פורסם ללא הגדרת רישיון כלל. במצב כזה אין הרשאה משפטית ברורה לעשות בו שימוש מסחרי, ומומלץ לפנות ישירות ליוצרים מ־withmartian לפני שמשלבים אותו בפיתוח עסקי.
האם יש במאגר דוגמאות בעברית?
לא, המאגר מסומן כולו כשפה האנגלית ומבוסס על מבחני ביצוע בינלאומיים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי, תצטרכו לאסוף נתונים נפרדים כדי להעריך ניתוב בעברית.
איך הנתונים האלה נאספו במקור?
החוקרים לקחו פרומפטים מתוך מבחני הערכה ידועים כמו GSM-8k, MBPP ו־MMLU. הם הריצו את כולם מול 11 מודלי שפה, שמרו את התשובות, חישבו את עלות ההרצה והשוו כל תשובה לפתרון הנכון כדי לקבוע ציון.
איך טוענים את הקבצים לפרויקט?
הקבצים במאגר מגיעים כקובצי פייתון בפורמט pkl ולא כקובצי טקסט או פרקט. אפשר להוריד אותם ישירות מהמאגר ולטעון אותם בסביבת קוד באמצעות ספריית pickle המובנית או החבילה הייעודית של היוצרים.
איך טוענים
הנתונים שמורים בקובצי pickle כמו routerbench_0shot.pkl ו־routerbench_5shot.pkl, כך שצריך לטעון אותם בסביבת פייתון רגילה ולא בפורמט טבלאי פתוח. אין דרישה לאישור גישה מיוחד כדי להוריד את המאגר מהעמוד. השדות הקריטיים לעבודה הם הפרומפט, המודל, הפלט, שדה העלות ושדה הציון שבודק נכונות מול תשובת האמת, והיוצרים ממליצים להריץ אותם יחד עם החבילה הייעודית שלהם בגיטהאב.
from datasets import load_dataset
ds = load_dataset("withmartian/routerbench")הרישיון
היוצרים לא ציינו שום רישיון שימוש בעמוד המאגר. מבחינה חוקית, היעדר רישיון אומר שזכויות היוצרים שמורות להם במלואן ואין אישור מפורש להשתמש בזה למטרות מסחריות, להפיץ הלאה או לאמן מודלים למוצר סגור.