GPT
הוספת כלי
S

stella_en_1.5B_v5

קוד פתוח

NovaSearchmit2024-07-12

  • sentence-transformers
  • pytorch
  • onnx
  • safetensors
  • qwen2

זה מודל שיעבוד של 1.5B פרמטרים שמבוסס על Qwen2, ומיועד למי שחייב וקטורים איכותיים באנגלית יחד עם חלון הקשר ענק של 131,072 טוקנים.

  • 1.5Bפרמטרים
  • 131,072טוקנים בהקשר
  • 30.0 GBמשקל הקבצים
  • 31,180הורדות בחודש

מה זה

המודל הזה נשען על ארכיטקטורת Qwen2ForCausalLM עם 28 שכבות, ומתמקד במשימות דמיון טקסטואלי, אחזור וסיווג. במבחני MTEB הוא רושם פגיעות מרשימות מאוד בסיווג רגש כמו 97.16% דיוק על AmazonPolarity, ומציג יכולות חיפוש מוצקות עם 65.26 נקודות ב־ArguAna. עם זאת, במיון מורכב של ביקורות מרובות מחלקות הוא נוחת לאזור ה־59.35% דיוק.

הייחוד שלו הוא השילוב בין גודל של מיליארד וחצי פרמטרים לחלון הקשר עצום, מה שמאפשר לבלוע מסמכים מלאים בלי לחתוך אותם לחתיכות קטנות. זה מציב אותו כפתרון חזק במיוחד למערכות RAG שמתמודדות עם קבצים ארוכים וחיפושים סמנטיים מעמיקים באנגלית.

מתאים ל

  • אחזור מסמכים ארוכים

    חלון של 131,072 טוקנים מאפשר לקודד דוחות ומאמרים שלמים באנגלית ללא צורך בפיצול אגרסיבי.

  • סיווג טקסטים מדויק

    הוא מציג מעל 97% דיוק בסיווגי סנטימנט, ומתאים לניתוח מהיר של משובים ופניות לקוחות.

  • מערכות RAG באנגלית

    אידיאלי כמנוע אחזור וקטורי שמונע מתוצאות חיפוש לא מדויקות להגיע למודל השפה המייצר.

איפה זה נופל

הוא מוגדר במפורש עבור השפה האנגלית בלבד, כך שבדיקות עם טקסטים בעברית יובילו לביצועים גרועים ביותר ולא מומלץ לנסות זאת במוצר מקומי. בעיה נוספת היא משקל הקבצים המקורי של 30GB בדיוק מלא, שמחייב זמן טעינה ארוך ומשאבי אחסון כבדים אם לא מכווצים אותו. בנוסף, בגלל חלון ההקשר הענק, הרצה של טקסטים ארוכים במיוחד תגרום לקפיצה חדה בדרישות הזיכרון ובזמני ההסקה.

אותה משפחה

stella-en יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

stella_en_400M_v578,037

שאלות
נפוצות

האם המודל יתפקד טוב בטקסטים בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד. אם תשתמשו בו לשאילתות או למסמכים בעברית, הייצוג הווקטורי יהיה משובש והתוצאות יהיו בלתי שמישות לחלוטין.

למה קבצי המודל שוקלים 30GB אם יש לו רק 1.5B פרמטרים?

המשקלים נשמרו בדיוק float32 מלא, מה שמנפח את נפח האחסון ודורש כרטיס מסך מפלצתי. מומלץ להמיר אותו עצמאית ל־float16 או bfloat16 כדי לחתוך את המשקל בחצי ללא פגיעה מורגשת בדיוק.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית sentence-transformers. המודל שוקל כ־30 ג'יגה-בייט ומאוחסן בדיוק float32 על פני 51 קבצים, מה שאומר שבשביל להריץ אותו כמו שהוא צריך כרטיס מסך חזק של לפחות 32GB זיכרון וידאו, או שתמירו אותו בעצמכם ל־float16 כדי להסתפק ב־GPU צנוע יותר של 16GB.

אם אתם מריצים חיפושים על מיליוני רשומות ביום, להחזיק שרת ייעודי עבורו יהיה זול בהרבה משימוש ב־API חיצוני, אבל לפרויקטים קטנים או לתעבורה לא יציבה עדיף להשתמש במודלי ענן כדי לא לשלם על מכונה כבדה שיושבת ללא שימוש.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("NovaSearch/stella_en_1.5B_v5")
v = m.encode(["שלום עולם"])

הקבצים

51 קבצים במאגר, 30.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים וקוד סגור, לשנות אותו, להפיץ אותו מחדש ולארח אותו בשרתים שלכם. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים ונוסח הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗