recipe_nlg
קוד פתוחmbienunknown2022-03-02
המאגר מרכז מיליוני מתכונים באנגלית עם רשימות רכיבים, הוראות הכנה ותיוגי ישויות מזון. הוא מתאים במיוחד למי שמאמן מודלים ליצירת טקסט מובנה למחצה.
- 329הורדות בחודש
- 51לייקים
מה זה
המאגר מכיל מיליוני רשומות של מתכוני בישול, כאשר כל רשומה כוללת מזהה ייחודי, כותרת, רשימת רכיבים מלאה, שלבי הכנה מפורטים וקישור למקור ברשת. בנוסף, כל מתכון מכיל רשימת ישויות מזון מחולצות בשדה ייעודי, לצד סיווג המקור שמציין אם הרשומה נלקחה ממאגר קודם או נאספה באופן עצמאי.
הבסיס נשען על המאגר Recipe1M+, ועליו הוסיפו החוקרים מעל מיליון מתכונים חדשים שעברו עיבוד מוקדם והסרת כפילויות. החלק הנוסף נאסף באמצעות סקריפטים אוטומטיים שביצעו גרידה מאתרי בישול שונים ברשת, כפי שמשתקף בערכי המקור המוגדרים כאיסוף עצמאי או כחלק מהמאגר הוותיק.
מבחינת מבנה, כל הנתונים מרוכזים בחלוקה יחידה של אימון, ללא חלוקה מובנית לולידציה או בדיקה. המשתמשים נדרשים להפריד בעצמם את הנתונים לצורכי הערכה, תוך הסתמכות על השדות המובנים שכוללים את הטקסט הגולמי לצד הישויות המפולחות.
מתאים ל
- יצירת מתכונים
אימון מודלי שפה שמפיקים הוראות הכנה שלב אחרי שלב מתוך רשימת רכיבים נתונה.
- חילוץ ישויות מזון
שימוש בתיוגי המזון המוכנים כדי לזהות שמות מצרכים מתוך טקסטים חופשיים.
- תמצות הוראות בישול
הפקת תקצירים קצרים או כותרות מתאימות מתוך רשימות ארוכות של שלבי הכנה.
איפה זה נופל
הכרטיס משאיר כמעט את כל סעיפי המגבלות וההטיות ריקים, כך שאין מידע מתועד על תהליך הסינון, הטיות אתניות או נוכחות מידע רגיש. הטקסט כולו באנגלית ומבוסס על אתרי בישול אמריקאיים ברובם, מה שמייצר שמות מצרכים ויחידות מידה שלא מתאימים למטבח הישראלי בלי התאמה ידנית. אין חלוקה מובנית לסט בדיקה, ולכן צריך להיזהר מדליפת מידע בין האימון להערכה. לא הייתי משתמש בזה למערכת שמייצרת הנחיות מדויקות לתזונה קלינית בלי בדיקה יסודית של הרכיבים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, התנאים בכרטיס אוסרים על כך במפורש. השימוש מוגבל למחקר אקדמי ולמטרות חינוכיות בלבד. כל שימוש עסקי במודל שאומן עליו מהווה הפרה של ההסכם.
האם יש במאגר נתונים בעברית?
אין במאגר עברית בכלל. כל המתכונים, שמות המצרכים ויחידות המידה נאספו באנגלית בלבד. כדי לעבוד איתו בארץ תצטרכו לתרגם את המונחים ולהמיר את יחידות המדידה.
מאיפה הגיעו המתכונים הנוספים מעבר למאגר המקורי?
החוקרים אספו יותר ממיליון מתכונים מאתרי בישול שונים בעזרת סקריפטים אוטומטיים של גרידת רשת. הם ניקו כפילויות ועיבדו את המידע מראש, אך שמות האתרים המדויקים לא פורטו בתיעוד.
איך המאגר מחולק למבחן ואימון?
אין בו חלוקה מובנית לקבוצות נפרדות. כל המיליוני רשומות יושבות תחת חלוקת אימון בודדת. אתם תצטרכו לדגום ולפצל לעצמכם סטים של ולידציה ובדיקה לפני תחילת העבודה.
איך טוענים
טוענים את המאגר ישירות באמצעות סקריפט הפייתון הכלול בו דרך ממשק הנתונים הרגיל, ללא צורך בבקשת גישה מקדימה או באישור ידני. המאגר מציג סדר גודל שנע בין מיליון לעשרה מיליון רשומות, כך שהוא דורש זיכרון עבודה משמעותי ונפח אחסון מקומי פנוי כדי להחזיק את כל הרשומות. מומלץ לשים לב במיוחד לשדות של הוראות ההכנה והישויות כדי לוודא התאמה למשימת היעד שלכם.
from datasets import load_dataset
ds = load_dataset("mbien/recipe_nlg")הרישיון
הרישיון הרשמי בעמוד מסומן כלא ידוע, אבל תנאי השימוש בגוף הכרטיס קובעים מפורשות שהמאגר מיועד למחקר לא מסחרי ולמטרות חינוכיות בלבד. המשתמש נושא באחריות מלאה לכל תביעת זכויות יוצרים על הטקסטים שנאספו. משמעות הדבר היא שאסור לבנות מודל מסחרי או מוצר עסקי על בסיס הנתונים האלה.