GPT
הוספת כלי
P

Palmyra-Fin-70B-32K

קוד פתוח

Writerרישיון לא דווח2024-07-02

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Writer עצמו.

מודל שפה של 72 מיליארד פרמטרים שאומן במיוחד לתחום הפיננסי. הוא מביא חלון הקשר ענק לניתוח דוחות ארוכים ומסמכים מורכבים באנגלית.

  • 73Bפרמטרים
  • 131,072טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 493הורדות בחודש

מה זה

הבסיס כאן הוא Palmyra-X-003 שעבר התאמה עמוקה לטקסטים פיננסיים, על גבי ארכיטקטורת Qwen2. השילוב של גודל משמעותי יחד עם חלון הקשר של 131,072 טוקנים מכוון ישירות לעבודה עם מסמכים כבדים כמו דוחות רבעוניים, תשקיפים והשוואות עמוקות בין חברות בלי שתצטרכו לחתוך את המידע לחתיכות קטנות.

בניגוד למודלים כלליים שנוטים לפספס דקויות במספרים או להתבלבל במונחים מקצועיים, כאן ההתמקדות היא בעולם הפיננסי באנגלית. המטרה שלו היא לייצר תשובות מדויקות יותר על טבלאות, ניתוחי שוק ונתוני ביצועים, אם כי היוצרים לא פרסמו תוצאות מדידה מספריות ישירות בכרטיס.

מתאים ל

  • ניתוח דוחות 10-K באנגלית

    ההקשר של 131 אלף טוקנים מאפשר להזין דוח שנתי מלא ולשאול שאלות על סעיפים ספציפיים.

  • השוואת תשקיפים פיננסיים

    הוא יודע לחבר בין נתונים שונים לאורך מסמכים ארוכים בזכות האימון הייעודי לתחום הפיננסי.

  • תמצות שיחות ועידה רבעוניות

    התאמה טובה לעיבוד תמלילים ארוכים של שיחות משקיעים ומענה על שאלות מתוך הטקסט.

איפה זה נופל

היוצרים מגדירים את המודל הזה באנגלית בלבד. אם תנסו לזרוק עליו דוחות כספיים בעברית של חברות מהבורסה בתל אביב, סביר להניח שתקבלו תוצאות חלשות או הזיות במספרים.

מעבר לזה, הכרטיס כמעט ריק ממידע טכני מהותי. אין שם בנצ'מרקים, אין פירוט על מערך הנתונים שעליו הוא אומן, ואין מדדים להזיות. לפני שאתם סומכים עליו עם מספרים אמיתיים שמקבלים החלטות לפיהם, אתם חייבים לבנות מערך בדיקות עצמאי ולהשוות מול המקור.

שאלות
נפוצות

האם אפשר להשתמש בו לניתוח דוחות כספיים בישראל?

המודל מוגדר רשמית לאנגלית בלבד. הוא לא אומן על עברית ולא מכיר את כללי הדיווח המקומיים, ולכן הוא לא מתאים לעבודה עם חברות ישראליות שמדווחות בעברית.

למה השם של המודל כולל 32K אבל בכרטיס כתוב 128K?

במזהה של המודל מופיע 32K, אבל המפרט הרשמי והארכיטקטורה מציינים 131,072 טוקנים, שזה 128K. כדאי לבדוק את התנהגות המודל בהקשרים של מעל 32 אלף טוקנים כדי לוודא שאין ירידה באיכות.

איך מריצים

כדי להריץ אותו מקומית ב־bfloat16 תצטרכו להחזיק 135 ג'יגה־בייט פנויים רק בשביל המשקלים, מה שאומר מערך של לפחות שני כרטיסי A100 או H100 של 80 ג'יגה. אם תרצו לנצל את מלוא חלון ההקשר שלו, דרישות הזיכרון יקפצו עוד יותר בגלל ה־KV Cache.

למי שאין שרת ייעודי כזה בחצר או בענן, מדובר בהרפתקה יקרה מאוד. אם השימוש שלכם הוא נקודתי או שאתם עדיין בודקים את ההיתכנות של המוצר, עדיף לחפש גישה דרך API במקום לשלם אלפי דולרים בחודש על תשתית פיזית.

from transformers import pipeline

pipe = pipeline("text-generation", model="Writer/Palmyra-Fin-70B-32K")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשמי לא דווח במטא־דאטה של הדף, אבל הטקסט מפנה לרישיון מודלים פתוח של חברת Writer ולמדיניות השימוש שלהם. זה אומר שאסור להניח שמדובר ברישיון קוד פתוח רגיל כמו אפאצ'י או MIT. לפני שאתם מטמיעים אותו במוצר מסחרי, חובה לקרוא את תנאי השימוש באתר שלהם ולוודא שאין שם מגבלות על שימוש מסחרי או דרישות תשלום.

הרישיון המלא בעמוד המודל ↗