KoAlpaca-v1.1a

מה זה

המאגר כולל רשומות שמיועדות למשימות יצירת טקסט והוראות. כל רשומה בנויה סביב שדות של הוראה, קלט ותשובה, כאשר הדוגמה מציגה שאלות יומיומיות ותשובות מפורטות עליהן. לפי הדוגמה המוצגת בכרטיס, חלק מהמידע מקושר ישירות לעמודי שאלות ותשובות ברשת, כמו האתר של נאבר, וכולל כתובת מקור מלאה לכל רשומה שנבדקה.

בפועל אין כאן חלוקה מורכבת לתתי קבוצות של אימון ובדיקה, אלא קובץ יחיד המרכז את כל הדוגמאות יחד. המפרסם לא פירט בכרטיס את אופן הסינון המלא, שיטות הניקוי של הטקסטים או האופן המדויק שבו נבחרו השאלות והתשובות מתוך המקורות המקוונים, מעבר להפניה לקוד המקור של הפרויקט.

מתאים ל

• אימון מודל הוראות בקוריאנית

  כוונון ישיר של מודלי שפה בסיסיים כדי שילמדו לענות על שאלות והנחיות מגוונות בשפה הקוריאנית.

• בדיקת יכולות מענה לשאלות

  הרצת מבחנים על מודלים קיימים לבדיקת איכות התשובות לשאלות ידע כללי מתוך הרשת.

• בניית מאגרי הדגמה

  בחינת תהליכי אימון על פורמט אלפקה בלי צורך להמיר שדות ומבנים בעצמכם.

איפה זה נופל

הנתונים כולם בקוריאנית בלבד, כך שלמי שמחפש תוכן בעברית או באנגלית אין מה לחפש כאן. המידע נשען על גרידת תוכן מהרשת, כפי שרואים בקישור לשאלות ותשובות באתר חיצוני, וזה עלול להכיל עובדות לא מדויקות ודעות סובייקטיביות. כרטיס הדאטהסט לא מפרט אילו מסנני איכות הופעלו, והוא עודכן במאי 2023, כך שחובה לבדוק ידנית את איכות התשובות לפני שמכניסים אותן למודל עבודה.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטים הרגילה בפייתון בעזרת קריאת פקודה אחת. כל התוכן יושב בקובץ פרקט יחיד, כך שההורדה מהירה מאוד ואין צורך בהרשאות מיוחדות או באישור גישה מראש. השדות החשובים לעבודה הם ההוראה והתשובה לצורך האימון, לצד שדה הקלט שיכול להישאר ריק בהתאם לצורך.

from datasets import load_dataset

ds = load_dataset("beomi/KoAlpaca-v1.1a")

הרישיון

המפרסם לא הגדיר רישיון במאגר. מבחינה חוקית זה אומר שאין לכם הרשאה מפורשת להשתמש בתוכן, לא לצרכים מסחריים וגם לא למחקר פנימי. אם תאמנו מודל על המאגר הזה, אתם לוקחים סיכון של הפרת זכויות יוצרים, במיוחד כשרואים שמקור הטקסטים הוא אתר תוכן חיצוני.

הרישיון המלא ב־Hugging Face ↗