where-startups-trend
קוד פתוחHackerNoonmit2024-07-17
HackerNoon עומדים גם מאחורי Real GANs in AI | Hacker Noon, ויש עליו סקירה כאן.
המאגר מרכז נתוני הצבעות קהילתיות של האקרנון על עשרות אלפי סטארטאפים מרחבי העולם. הוא מספק מיפוי גיאוגרפי של חברות ותיאורים תמציתיים שלהן לצד נתוני עניין ציבוריים שנאספו באתר.
- 153הורדות בחודש
- 39לייקים
מה זה
הנתונים מחולקים למספר קבצי טבלה שכוללים עשרות אלפי חברות סטארטאפ, עם פרטים כמו כתובת אתר הבית ותיאור החברה. המאגר מכיל מעל שש מאות אלף הצבעות ממשתמשי האקרנון במסגרת תחרות סטארטאפ השנה, ומכסה ערים עם אוכלוסייה של מעל חצי מיליון תושבים.
המבנה כולל שמונה קבצים במאגר, רובם בפורמט סי אס וי ואחד בפורמט אקסל. הקבצים מפולחים לפי חיתוכים שונים של הנתונים, כמו הצבעות לפי עיר, יבשת, תעשייה, סיומות דומיין ודירוגים עולמיים של חברות בולטות, לצד קובץ המרכז את פרטי החברות והצבעות הקהילה.
מתאים ל
- סיווג תיאורי חברות
אימון מודלים לסיווג טקסטואלי של סטארטאפים לפי תחומי פעילות ותעשיות.
- ניתוח מגמות גיאוגרפיות
מיפוי פעילות סטארטאפים והתפלגות הצבעות קהילתיות לפי ערים ויבשות.
- חקר סיומות דומיינים
בדיקת העדפות של חברות טכנולוגיה לגבי סיומות אתרים בקשר לתעשייה ולמיקום.
איפה זה נופל
ההטיה המרכזית נובעת מכך שמקור הנתונים הוא תחרות פופולריות באתר האקרנון. ההצבעות משקפות מעורבות של קהילת האתר ולא מדד אובייקטיבי להצלחה עסקית או גיוסי הון של חברות. בנוסף, כל הטקסטים והתיאורים מופיעים באנגלית בלבד ואין במאגר תמיכה בשפות אחרות כמו עברית. חברות שנמצאות בערים קטנות של פחות מחצי מיליון תושבים נשארו בחוץ ולא מופיעות בנתונים, מה שמייצר חסר גיאוגרפי ברור.
שאלות
נפוצות
האם מותר להשתמש בנתונים האלה למוצר מסחרי?
כן, הרישיון הוא אם איי טי שמתיר שימוש מסחרי חופשי לחלוטין. מותר לכם לבנות מודלים, לייצא תובנות ולשלב את המידע בכל מערכת עסקית. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי.
האם יש במאגר נתונים או תיאורים בעברית?
לא, השפה המוגדרת במאגר היא אנגלית בלבד. כל שמות החברות, התיאורים והחיתוכים כתובים באנגלית. אם אתם מחפשים טקסטים בעברית על סטארטאפים מקומיים, תצטרכו לתרגם אותם או לפנות למקור נתונים אחר.
איך נאסף המידע שבמאגר?
הנתונים נאספו במסגרת תחרות סטארטאפ השנה שפורסמה באתר האקרנון. הם כוללים רישום של עשרות אלפי חברות עם נתוני מטא ותיאורים, לצד מעל שש מאות אלף הצבעות של משתמשי האתר. החיתוך הגיאוגרפי הוגבל מראש לחברות בערים עם מעל חצי מיליון תושבים.
איך טוענים
המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד כדי להוריד אותו. הנתונים מגיעים בקובצי סי אס וי ובקובץ אקסל רגיל, כך שאפשר לטעון אותם בקלות ישירות לפנדס או לכל כלי ניתוח נתונים סטנדרטי בלי צורך בספריית דאטהסטס מורכבת.
מבחינת שדות עיקריים, כדאי לשים לב לעמודות המכילות את שמות החברות, אתרי הבית, תיאורי הפעילות, המיקום הגיאוגרפי והתפלגות ההצבעות. סך הרשומות המדווח נע בין מיליון לעשרה מיליון, לכן מומלץ לוודא שיש מספיק זיכרון עבודה בעת טעינת כל הקבצים יחד.
from datasets import load_dataset
ds = load_dataset("HackerNoon/where-startups-trend")הרישיון
המאגר שוחרר תחת רישיון פתוח של אם איי טי. הרישיון מאפשר שימוש מסחרי מלא, שינוי של הנתונים ושילוב שלהם בפרויקטים פנימיים או חיצוניים. מותר לאמן מודלים על בסיס הטקסטים בלי לחשוש מחובת שיתוף זהה, כל עוד שומרים על הודעת זכויות היוצרים המקורית של הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש