agriculture-qa-english-only

מה זה

המאגר מציג זוגות של שאלה ותשובה בלבד, במבנה פשוט שמכיל את השדות question ו־answer. לפי התיעוד של מוחמד אשרף, התוכן נאסף ממקורות מקוונים שונים כמו פורומים חקלאיים, אתרי אינטרנט ועמודי שאלות נפוצות. הנושאים מכסים פרקטיקות חקלאיות, ניהול אדמה וגידול בעלי חיים.

היוצר מציין שהאיסוף כלל אוצרות ובדיקה ידנית של איכות הזוגות והרלוונטיות שלהם. אין כאן חלוקה מוגדרת מראש לסט אימון ובדיקה נפרדים, וסדר הגודל הכולל עומד על בין עשרת אלפים למאה אלף רשומות שמיועדות למשימות מענה על שאלות והבנת שפה.

מתאים ל

• אימון צ'אטבוט לחקלאות

  כוונון עדין של מודלי שפה על שיחות ותשובות בענייני ניהול קרקע וגידולים.

• טיוב אחזור לחיפוש

  אימון מודלי שיקוע למערכות חיפוש סמנטי שמחזירות תשובות מתוך מאגרי מידע חקלאיים.

• בדיקת ביצועים בתחום צר

  הערכת היכולת של מודל קיים להתמודד עם שאלות מקצועיות בפרקטיקות של עבודת אדמה.

איפה זה נופל

המאגר כולו כתוב באנגלית בלבד, כך שהוא לא יעזור למי שמחפש תוכן בעברית או מונחים חקלאיים מקומיים. המקורות הם אתרים ופורומים ברשת, ללא פירוט מדויק של שמות האתרים או השנים שבהן המידע נכתב. שיטות חקלאיות או טיפול במזיקים משתנים מאוד לפי אזור גיאוגרפי, אקלים ועונות שנה, והתיעוד לא מציין מהיכן גיאוגרפית הגיעו השאלות. אסור להסתמך עליו במוצר שמחלק המלצות לחקלאים בלי בדיקה של איש מקצוע.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה של KisanVaani, ללא צורך באישור גישה מוקדם או במפתחות מיוחדים. המאגר מכיל שלושה קבצים, והדאטה עצמו יושב בקובץ parquet יחיד תחת תיקיית data, למרות שבתיאור המקורי נכתב שמדובר באוסף קובצי JSON. שני השדות המרכזיים שצריך לעבד הם פשוט הטקסט של השאלה והטקסט של התשובה. בגלל שאין חלוקת ולידציה מובנית, תצטרכו לחתוך לעצמכם סט בדיקה בצורה יזומה לפני שמתחילים באימון.

from datasets import load_dataset

ds = load_dataset("KisanVaani/agriculture-qa-english-only")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של המידע. אפשר לאמן עליו מודלים פנימיים או מסחריים בלי לחשוף את הקוד שלכם, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי של היוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗