Reglamento_Aeronautico_Colombiano_2024GemmaQA

מה זה

המאגר כולל 25,174 רשומות שמבוססות על תקנות התעופה האזרחית של קולומביה, ה־RAC. התהליך התחיל בחילוץ טקסט מקובצי PDF באתר הרשמי של רשות התעופה הקולומביאנית, והזנה של שני עמודים בכל פעם ל־API מבוסס GPT או מודל קוד פתוח כדי לחלץ קטעים וליצור מהם שאלות ותשובות.

לאחר החילוץ האוטומטי, מומחים וסטודנטים להנדסת תעופה ממוסד Los Libertadores עברו על הנתונים במערכת Argilla. הם דירגו את איכות הדוגמאות, מחקו 696 דוגמאות שקיבלו ציון 3 ומטה, והשאירו 24,478 רשומות מאומתות לצד יתר הדוגמאות שנאספו. כל רשומה כוללת את סעיף התקנה, מספר העמוד, השאלה שנוסחה והתשובה לה.

מתאים ל

• אימון צ'אטבוט רגולטורי

  אימון מודל לענות על שאלות בנושאי חוקי תעופה בספרדית על בסיס צמדי שאלה ותשובה.

• הערכת מערכות חיפוש

  בדיקת איכות של מנועי אחזור מסמכים מול סעיפי חוק מדויקים ומספרי עמודים.

• בניית מאגר ידע לתעופה

  הזנת נתונים מסווגים ומפולחים לכלי עזר עבור חברות תעופה שפועלות באמריקה הלטינית.

איפה זה נופל

כל הטקסט כתוב בספרדית בניב מקומי של קולומביה, ללא שפות אחרות וללא מילה אחת בעברית. המקורות נשענים על נוסח התקנות כפי שפורסם עד תחילת 2024, כך שעדכוני רגולציה חדשים לא קיימים כאן. מעבר לכך, התוכן נוסח מראש בעזרת מודלי שפה, ולמרות הסינון האנושי אסור להסתמך עליו כמקור משפטי מחייב בלי בדיקה מול ספר החוקים המקורי.

איך טוענים

הנתונים יושבים בקובץ Parquet יחיד בשם train-00000-of-00001.parquet תחת תיקיית data, כך שטעינה ישירה בספריית datasets לוקחת שורת קוד אחת בלי צורך בהרשאות גישה מיוחדות. המאגר מותאם לתבנית של מודלי Gemma, והשדות העיקריים שצריך למפות לעיבוד הם rac לטקסט המקור, pagina למספר העמוד, ו־pregunta לצד respuesta עבור השאלה והתשובה.

from datasets import load_dataset

ds = load_dataset("somosnlp/Reglamento_Aeronautico_Colombiano_2024GemmaQA")

הרישיון

המאגר מופץ תחת רישיון Apache-2.0. הרישיון מאפשר שימוש מסחרי מלא, שינוי של הנתונים ואימון מודלים פנימיים או מסחריים, בתנאי ששומרים על הצהרת זכויות היוצרים ועותק הרישיון המקורי. אין חובת שיתוף של מודל שאומן עליו תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗