stem_zh_instruction
קוד פתוחhflapache-2.02024-04-28
המאגר מרכז מעל רבע מיליון הוראות בסינית בתחומי מדעים מדויקים, שנבנו באמצעות שאילתות למודל שפה. הוא מיועד למי שרוצה לדחוף מודל לביצועים סבירים במדעים בלי לייצר דאטה סינתטי מאפס.
- 276הורדות בחודש
- 34לייקים
מה זה
מדובר באוסף של 256,186 דוגמאות הוראה שמחולקות לחמישה קבצים לפי תחום דעת. החלוקה כמעט שווה בין המקצועות: פיזיקה מכילה 50,380 רשומות, כימיה עם 50,839, מדעי כדור הארץ כוללים 50,068 דוגמאות, ביולוגיה עם 50,282, ותחום הרפואה מעט גדול יותר ומחזיק 54,617 רשומות.
כל המידע נאסף ויוצר מול מודל gpt-3.5 עבור הפרויקט הסיני Chinese-LLaMA-Alpaca-3. הכרטיס לא מציין שנעשה סינון אנושי, בדיקת עובדות או ניקוי ידני כלשהו, אלא מגדיר את התוכן ישירות כתוצר שנמשך מהמודל בתחומי המדעים המדויקים, בלי פירוט על תבניות הפרומפטים ששימשו לחילוץ.
מתאים ל
- כוונון מודלים בסינית
אימון מודל שפה לענות על שאלות מדעיות בסינית לפי חלוקה מוגדרת למקצועות לימוד.
- הערכת ידע מדעי
בדיקת יכולת המענה של מודלים קיימים בנושאי פיזיקה, רפואה וביולוגיה בשפה הסינית.
- בניית מסדי נתונים רב לשוניים
תרגום ובדיקת הצלבה של דוגמאות מדעיות לפרויקטים שמשלבים שפות נוספות.
איפה זה נופל
כל התוכן מבוסס על פלטים של gpt-3.5, ולכן הוא סוחב איתו הזיות וטעויות עובדתיות, במיוחד ברפואה ובכימיה שבהן דיוק הוא קריטי. הנתונים כולם בסינית בלבד, אין שום ייצוג לעברית או לאנגלית. הכרטיס לא מספק מידע על תאריכי השאיבה המדויקים או על תהליכי אימות, כך שאי אפשר להסתמך עליו למערכות ייצור רפואיות או מדעיות ללא בדיקה עצמאית של החומר.
שאלות
נפוצות
האם יש במאגר תוכן בעברית?
לא, כל הרשומות מיועדות לשפה הסינית בלבד. אין במאגר טקסטים בעברית או תמיכה מובנית בלוקליזציה לשפות שאינן סינית.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי מלא בלי לחייב פתיחת קוד. עם זאת, מכיוון שהנתונים נוצרו דרך gpt-3.5, יש לבדוק את מגבלות השימוש של OpenAI בנוגע לאימון מודלים מסחריים.
איך הנתונים נאספו והוכנו?
היוצרים שאבו וייצרו את המידע ישירות באמצעות gpt-3.5 כדי לתמוך בפרויקט Chinese-LLaMA-Alpaca-3. לא מפורט בכרטיס תהליך של בדיקת מומחים או ניקוי ידני.
כמה מקום שוקל המאגר?
המשקל המדויק במגהבייטים לא פורסם בעמוד. המאגר מורכב משבעה קבצים, מתוכם חמישה קובצי json שמכילים יחד 256,186 שורות טקסט.
איך טוענים
אין צורך לבקש אישור גישה מראש. הנתונים יושבים ישירות בחמישה קובצי json לפי תחום, לצד קובץ התיעוד, כך שאפשר לקרוא אותם ישירות בספריית datasets או לפתוח מקומית בפייתון בלי פרוטוקולים מיוחדים. לא דווח נפח הקבצים במגהבייטים, אך מדובר בקובצי טקסט פשוטים שמכילים עשרות אלפי שורות בכל קובץ.
from datasets import load_dataset
ds = load_dataset("hfl/stem_zh_instruction")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הקוד והנתונים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון. יחד עם זאת, החומר נוצר באמצעות מודל של OpenAI, ולכן כדאי לקחת בחשבון את תנאי השירות שלהם לגבי שימוש בתוצרי המודל לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים