chronos-t5-large
קוד פתוחamazonapache-2.02024-02-21
מודל חיזוי סדרות עיתיות שלוקח ארכיטקטורת שפה קלאסית ומתייחס לנקודות מידע כמו למילים. עם 709 מיליון פרמטרים, הוא מתאים למי שצריך תחזיות הסתברותיות מדויקות מנתונים היסטוריים.
- 709Mפרמטרים
- 512טוקנים בהקשר
- 2.6 GBמשקל הקבצים
- 110,212הורדות בחודש
מה זה
במקום לעבוד עם רגרסיות רגילות, המודל ממיר ערכים מספריים של סדרות עיתיות לרצף טוקנים דרך סקיילינג וקוונטיזציה, ומאמן עליהם מודל שפה עם cross-entropy loss. בזמן הסקה, הוא דוגם מסלולים קדימה כדי לבנות התפלגות שלמה של תחזית עתידית ולא רק מספר בודד. הבסיס פה הוא ארכיטקטורת T5ForConditionalGeneration, אבל גודל המילון צומצם ל־4096 טוקנים לעומת מעל 32 אלף במקור, מה שמייעל את כמות המשקולות.
אמזון אימנו אותו על אוסף גדול של סדרות עיתיות ציבוריות לצד נתונים סינתטיים שנוצרו עם תהליכים גאוסיאניים. מבין סדרת הדגמים המקורית הזו, גרסת ה־Large היא הכבדה ביותר שמציעה את הקיבולת המקסימלית לזיהוי דפוסים מורכבים.
מתאים ל
- תחזיות הסתברותיות מורכבות
דגימת מסלולים מרובים מאפשרת לראות טווח תרחישים עתידיים עם שולי אי-ודאות ולא רק קו בודד.
- סדרות מגוונות ללא אימון
הוא אומן על מידע ציבורי וסינתטי רחב, ומספק תוצאות ישירות מהקופסה על נתונים שלא ראה.
- עיבוד נתונים קצרים יחסית
מתאים לתרחישים שבהם ההיסטוריה הרלוונטית נכנסת היטב בתוך מגבלת 512 הטוקנים של המודל.
איפה זה נופל
המגבלה הכי קריטית מגיעה מאמזון עצמם. הם הוציאו גרסה חדשה בשם Chronos-Bolt, שמציגה 5 אחוז פחות שגיאה, מהירה פי 250 וצורכת פי 20 פחות זיכרון מגרסה זו. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים בלבד, כך שסדרות ארוכות מאוד פשוט ייחתכו.
מעבר לכך, מכיוון שהחיזוי מתבצע על ידי דגימה אוטורגרסיבית של טוקנים, תהליך ההסקה איטי ומבזבז משאבי חישוב לעומת מודלים סטטיסטיים קלאסיים או הדגמים החדשים יותר בסדרה.
שאלות
נפוצות
האם כדאי לבחור בגרסה הזו לפרויקט חדש?
ברוב המקרים לא. אמזון עדכנו שיש גרסת Bolt שמציגה שגיאה נמוכה בחמישה אחוזים ומהירה פי 250. שווה להשתמש בגרסה הזו רק אם אתם חייבים תאימות מדויקת למאמר המקורי או לקוד קיים.
האם אפשר להריץ אותו על מעבד רגיל בלי GPU?
זה אפשרי טכנית כי הוא שוקל 2.6 גיגה-בייט, אבל בגלל תהליך החיזוי האוטורגרסיבי שדוגם מספר מסלולים עתידיים, זמן הריצה על CPU יהיה איטי מדי לשימוש שוטף.
איך מריצים
המודל שוקל 2.6 גיגה-בייט ומגיע בדיוק float32. בשביל להריץ 709 מיליון פרמטרים מקומית תצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגה זיכרון כדי לא להיחנק בזמן ההסקה, בייחוד כשמייצרים מספר מסלולים הסתברותיים במקביל דרך הספרייה הייעודית chronos-forecasting.
ההתקנה רצה ישירות ממאגר הגיטהאב שלהם ב־pip. אם אתם עובדים בתוך תשתית ענן ומעדיפים לא לנהל שרתים וסביבות פייתון בעצמכם, אפשר לפרוס אותו ישירות כנקודת קצה מנוהלת בתוך Amazon SageMaker JumpStart.
pip install -U huggingface_hub hf download amazon/chronos-t5-large
הקבצים
6 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמשקולות משוחררים תחת רישיון apache-2.0. מותר להשתמש בהם בפרויקטים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה בתוך מוצרים. הדרישה העיקרית היא לצרף עותק של הרישיון המקורי ולתת קרדיט למפתחים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים