Software-Architecture
קוד פתוחajibawa-2023apache-2.02024-10-28
המאגר מרכז ידע תיאורטי ומעשי בארכיטקטורת תוכנה על פני מאות אלפי שורות. הוא מיועד למי שרוצה לדייק מודל שפה סביב החלטות תכנון, דפוסי עיצוב ומיקרו-שירותים.
- 489הורדות בחודש
- 33לייקים
מה זה
המאגר מורכב מקובץ מרכזי בפורמט jsonl שמכיל כ־450,000 שורות של טקסט טכני באנגלית. התוכן מכסה מנעד רחב של נושאים בהנדסת תוכנה, מתבניות עיצוב, מונוליט מול מיקרו-שירותים וארכיטקטורה מונחית אירועים, ועד לתכנון מערכות ענן, שיקולי אבטחה, שרידות, סקלביליות ותהליכי קבלת החלטות ארכיטקטוניות.
לפי כרטיס המאגר, המידע מחולק פנימית לפי נושאים מובילים כמו עקרונות תכנון, בדיקות ארכיטקטורה ומחקר מתקדם. עם זאת, היוצר לא מספק שום תיעוד לגבי המקורות שמהם הנתונים נאספו, האם מדובר בטקסטים שנלקחו מספרות מקצועית, שאלות ותשובות מאתרים קהילתיים, או חומר סינתטי שנוצר באמצעות מודל שפה אחר. אין גם פירוט על תהליכי סינון, ניקוי או ולידציה שבוצעו לפני האריזה לקובץ הסופי.
מתאים ל
- אימון מודל לעיצוב מערכות
דקירה והתאמה של מודל שפה כך שיבין מושגים מורכבים בארכיטקטורת ענן ודפוסי תוכנה.
- בניית מאגר ידע לשליפה
אינדוקס השורות למנוע וקטורי שיסייע למפתחים לקבל החלטות ארכיטקטורה ותכנון נכון.
- הערכת ידע של מודלים
יצירת מבחני השוואה לבדיקת ההבנה של מודלי שפה בנושאי סקייל, ביצועים ואבטחה.
איפה זה נופל
הבעיה המרכזית כאן היא היעדר שקיפות מוחלט לגבי מקור הדאטה ואופן הסינון שלו. הכרטיס לא מציין מאיפה הטקסטים הגיעו, מה שהופך את השימוש בו לסיכון אם אתם צריכים דיוק עובדתי מוכח או חוששים מהזיות ודפוסים מיושנים. הדאטהסט כולו באנגלית בלבד, כך שהוא לא יעזור ישירות למי שמאמן מודלים בעברית. לפני שמכניסים אותו לפייפליין אימון, תצטרכו לדגום ידנית כמה מאות שורות כדי לבדוק את איכות התוכן והאם הוא כולל שגיאות הנדסיות קריטיות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, רישיון apache-2.0 מתיר שימוש מסחרי מלא. אתם יכולים לאמן עליו מודלים שמיועדים למכירה או להטמיע אותו במערכות פנימיות בחברה, כל עוד אתם מצרפים את עותק הרישיון והקרדיט הנדרש.
האם הדאטהסט כולל תוכן בעברית?
לא, המאגר מוגדר ומכיל טקסטים בשפה האנגלית בלבד. אם המטרה שלכם היא מודל שיודע להסביר ארכיטקטורה בעברית, תצטרכו לתרגם את הנתונים או להוסיף מקורות מקומיים.
מאיפה הנתונים נאספו?
היוצר לא שיתף את מקור הנתונים או את שיטת האיסוף. אי אפשר לדעת מהכרטיס אם החומר נסרק מהרשת, נלקח מתיעוד טכני פתוח, או יוצר בצורה סינתטית על ידי כלי בינה מלאכותית אחר.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה ajibawa-2023/Software-Architecture, או שמורידים ידנית את הקובץ Software_Architecture_Final.jsonl מחיצת המאגר. הגישה פתוחה לחלוטין ואין צורך בהרשאה מיוחדת או באישור תנאי שימוש לפני ההורדה. מדובר במאגר טקסט של כ־450 אלף שורות, אז כדאי להכין זיכרון עבודה מתאים לקריאה של קובץ כזה.
from datasets import load_dataset
ds = load_dataset("ajibawa-2023/Software-Architecture")הרישיון
המאגר מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ומחקר חופשי, מאפשר שינוי של הנתונים ושילוב שלהם במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, והוא אינו מחייב אתכם לשחרר את המודל המאומן או את הקוד שלכם תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים