llmops-database
קוד פתוחzenmlapache-2.02024-12-04
מאגר ממוקד של מעל 500 תיאורי מקרה על הטמעת מודלי שפה בסביבות ייצור אמיתיות. הוא מרכז פתרונות טכניים וארכיטקטורות של חברות שונות, במקום שתצטרכו לחפש פוסטים מפוזרים ברשת.
- 786הורדות בחודש
- 23לייקים
מה זה
המאגר כולל קצת יותר מ 500 רשומות, כאשר כל רשומה היא סיכום טכני מובנה של מקרה בוחן אמיתי. הנתונים נאספו מדיונים בטוויטר ובדיסקורד, לצד חיפושים מבוססי וקטורים דרך Exa. המקורות המקוריים היו פוסטים טכניים של צוותי הנדסה או תמלילים של סרטוני יוטיוב.
התוכן עצמו עבר עיבוד ותמצות באמצעות המודל Claude Sonnet 3.5, וחילוץ המטא דאטה בוצע בעזרת ספריית instructor. כל פריט כולל שדות של כותרת, שם החברה, שנת הפעילות, קישור למקור, תעשייה, תגיות של כלים וטכניקות, וכן שני סיכומים ברמות פירוט שונות.
אין כאן חלוקה מובנית לסט אימון, ולידציה או בדיקה. כל הנתונים יושבים יחד במאגר יחיד, וזמינים גם כקבצי Markdown נפרדים וכקובץ טקסט מאוחד המכיל כ 200,000 מילים.
מתאים ל
- סקירת ארכיטקטורות ייצור
שאיבת רעיונות לפתרונות הנדסיים מתוך בדיקה של כלים וטכניקות שחברות אחרות הטמיעו בפועל.
- אימון סיווג לתגיות טכנולוגיה
בניית מודל למיון פוסטים הנדסיים לפי תגיות כלי עבודה ושיטות עבודה של LLMOps.
- בסיס ידע למערכות RAG
טעינת קובץ הטקסט המאוחד לתוך כלי ניתוח ומודלים עם הקשר רחב לצורך שאילתות על בעיות ייצור.
איפה זה נופל
הטקסטים שמופיעים במאגר הם לא החומר המקורי אלא סיכומים סינתטיים שנוצרו על ידי קלוד. הצוות בחר שלא להביא את הטקסטים או התמלילים המלאים בגלל זכויות יוצרים, כך שאי אפשר לאמת ציטוטים מדויקים בלי לגשת לקישורי המקור. בנוסף, כל התיעוד כתוב באנגלית בלבד. אם אתם מחפשים מקרי בוחן על תשתיות או אתגרים מקומיים בעברית, המאגר הזה לא מספק אותם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקטים מסחריים?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא. צריך רק לצרף עותק של הרישיון וקרדיט כמקובל.
האם יש במאגר מקרי בוחן בעברית?
לא. כל הנתונים, הסיכומים והמקורות נכתבו באנגלית בלבד.
האם הטקסט כולל את הפוסטים המקוריים במלואם?
לא. מטעמי זכויות יוצרים המאגר מחזיק סיכומים שנוצרו בעזרת מודל שפה, ולא את התוכן הגולמי. קישורי המקור זמינים בכל רשומה למי שצריך את הטקסט המקורי.
באיזה פורמט הנתונים מגיעים וכמה הם שוקלים?
הנתונים זמינים כקובץ Parquet בודד, כ 333 קבצי Markdown נפרדים, או כקובץ טקסט אחד של כ 200,000 מילים. מדובר בנפח קל מאוד להורדה ולעיבוד מקומי.
איך טוענים
טוענים את המאגר ישירות דרך Hugging Face כקובץ Parquet יחיד בתיקיית הדאטה, ללא צורך באישור גישה או מפתחות. אפשר גם למשוך את המאגר בגיט כדי לקבל גישה לקובץ הטקסט המאוחד all_data_single_file.txt או לקבצי ה Markdown הנפרדים. השדות המרכזיים לעבודה הם full_summary שמכיל את הניתוח הטכני המלא, לצד תגיות הסינון tools_tags ו techniques_tags.
from datasets import load_dataset
ds = load_dataset("zenml/llmops-database")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ודורש שמירה על הודעת זכויות היוצרים והרישיון המקורי. הוא אינו כופה עליכם לשחרר מוצרים או מודלים שתאמנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים