hub-stats

מה זה

הנתונים מגיעים ישירות מתוך הממשקים של האג פייס ונשמרים בחלוקה לקבצי פארקט נפרדים. המאגר מציג ישויות מרכזיות באתר, כולל קבצים ייעודיים למודלים, דאטהסטים, פוסטים, מרחבי עבודה ומאמרים מדעיים. לפי התיעוד הקיים, המידע מתעדכן על בסיס יומי ומכיל שדות כמו מזהים, קשרים בין מודלים, וספירות הורדות.

בחלוקות השונות אפשר למצוא קובץ של מאמרי ארקייב שנמשך מנקודת הקצה של האתר, וקובץ נפרד למאמרים היומיים שנבחרו להצגה. ברשומות של המודלים יש פרטים על פורמטים כמו סייפטנסורס או ג'י ג'י יו אף, היסטוריית הורדות מלאה, ותיוגים של מודלי הבסיס שעליהם המודל הנוכחי נשען, כולל אופי הקשר ביניהם.

מתאים ל

• ניתוח טרנדים של ארכיטקטורות

  מעקב אחרי קצב האימוץ של פורמטים ומודלי בסיס שונים על פני זמן לפי נתוני ההורדות והקשרים.

• בניית מנוע המלצות למודלים

  שימוש במיפוי מודלי הבסיס כדי לחבר למפתחים גרסאות מכווצות או מאומנות של אותו המודל.

• סריקה ומעקב אחרי פרסומים

  הצלבת מאמרים מדעיים מארקייב עם דאטהסטים ומודלים פעילים שמועלים במקביל לאתר.

איפה זה נופל

הכרטיס לא מפרט תהליכי סינון או ניקוי ידניים, אלא מסתמך על משיכה ישירה של נתונים מהאתר. תיוגי מודלי הבסיס תלויים לחלוטין בהזנה של המשתמשים עצמם, ולכן יכולים להכיל שגיאות או מידע חסר. בנוסף, מדובר במטא-דאטה טכני וסטטיסטי בלבד ולא בתוכן המודלים עצמם או בטקסטים מלאים, מה שלא מתאים לאימון מודלי שפה על תוכן.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטים באמצעות המזהה cfahlgren1/hub-stats, בלי צורך בבקשת גישה מיוחדת כי המאגר פתוח. המידע מחולק לשמונה קבצים בפורמט פארקט יעיל, כך שאפשר למשוך רק את הקובץ הספציפי שמעניין אתכם, כמו models.parquet או datasets.parquet. בעבודה עם שדות מספריים כבדים שנוספו בעדכונים, כדאי לשים לב להגדרות הטיפוסים כדי למנוע גלישת מספרים שלמים.

from datasets import load_dataset

ds = load_dataset("cfahlgren1/hub-stats")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים. הדרישה העיקרית היא מתן קרדיט מתאים ושמירה על תנאי הרישיון המקוריים בכל תוצר שמשתמש במידע.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗