Kronos-Tokenizer-base

מה זה

מדובר ברכיב הטוקניזציה של משפחת המודלים קרונוס, שנועד לטפל בבעיה ספציפית מאוד בעולם הפיננסי. במקום להזין מחירי מסחר ישירות כערכים רציפים רועשים או להשתמש בטוקנייזר טקסט רגיל שלא מבין שווקים, הוא מבצע קוונטיזציה של נתוני מסחר מרובי ממדים כמו פתיחה, סגירה, גבוה, נמוך ונפח לתוך טוקנים היררכיים ובדידים.

הוא משרת את מודלי ההמשך במשפחה, כמו גרסאות הסמול והבייס עם חלון הקשר של 512 נרות. הרעיון כאן הוא לשמר דפוסי פעילות מסחר ודינמיקת מחירים לפני שהם מגיעים למודל הטרנספורמר האוטו רגרסיבי, כדי שהמודל יוכל ללמוד תנועות שוק מתוך רצפי טוקנים.

מתאים ל

• הזנת נתונים לקרונוס

  המרת נתוני נרות היסטוריים לטוקנים בדידים לפני שליחתם למודלי החיזוי של קרונוס.

• אימון מודלים מותאמים

  בניית מודלי שפה או טרנספורמרים משלכם על גבי נתוני שוק בדידים במקום מספרים רציפים.

• שחזור נתוני מסחר

  דקודינג של רצפי טוקנים פיננסיים בחזרה למחירי שוק ונפחי מסחר בפועל.

איפה זה נופל

זה לא מודל חיזוי עצמאי. אם תורידו רק אותו, תקבלו כלי שממיר נרות לטוקנים ובחזרה, בלי שום יכולת לחזות את העתיד לבד. בנוסף, הוא מוגבל למבנה נתונים קשיח של נרות מסחר, וגרסה זו מיועדת לעבודה עם מודלים בעלי חלון הקשר של עד 512 נקודות זמן בלבד. למי שצריך רצפים של 2048 נרות יש טוקנייזר נפרד לחלוטין ברשימת המודלים שלהם.

איך מריצים

הרצת הטוקנייזר דורשת פייתון 3.10 ומעלה, פייטארץ' ואת קוד המקור ממאגר הגיטהאב של הפרויקט. המשקל הכולל עומד על 15.1 מגה בייט בלבד על פני ארבעה קבצים, עם פחות מארבעה מיליון פרמטרים. כל מחשב פיתוח בסיסי או מעבד גרפי סטנדרטי יריץ אותו בשבריר שנייה בלי לחשוב פעמיים.

הטוקנייזר הזה לא מייצר תחזיות בעצמו. כדי להפיק תחזית אמיתית של נרות עתידיים, צריך לטעון אותו לצד מודל חיזוי תואם, למשל גרסת הסמול ששוקלת 24.7 מיליון פרמטרים או הבייס עם 102.3 מיליון פרמטרים, באמצעות המחלקה הייעודית שמנהלת את הנרמול והעיבוד.

pip install -U huggingface_hub
hf download NeoQuasar/Kronos-Tokenizer-base

הקבצים

4 קבצים במאגר, 15.1 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors15.8 MB
• README.md8.9 KB
• .gitattributes1.5 KB
• config.json301 B

הרישיון

הרישיון הוא רישיון MIT פתוח ומתירני. מותר להשתמש בו לצרכים מסחריים, לשלב אותו בקוד סגור, לשנות את המשקלים או להפיץ אותו מחדש במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗