gte-Qwen2-1.5B-instruct

מה זה

מדובר במודל דחיסת ייצוגי טקסט מסוג מבוסס הוראות, שנבנה על בסיס ארכיטקטורת Qwen2 וכולל 1.8 מיליארד פרמטרים על פני 28 שכבות. התפקיד שלו הוא לקחת טקסט ולהמיר אותו לווקטור שמייצג קרבה רעיונית, כולל מענה מדויק לשאילתות שמכילות הנחיה מפורשת.

הייחוד המרכזי כאן מול מודלי הטמעה קלאסיים הוא היכולת לבלוע עד 131,072 טוקנים ברצף אחד, נתון שמאפשר לנתח מסמכים שלמים בלי לחתוך אותם לפסקאות קטנטנות מראש. במבחני סיווג טקסט כמו פולריות באמזון הוא רושם דיוק של 96.6 אחוז, אבל במבחני שליפה טכניים ומורכבים יותר, למשל סביב שאלות במתמטיקה מתוך CQADupstack, הדיוק הראשוני יורד לכיוון 23.5 אחוז בלבד.

מתאים ל

• מנועי חיפוש מסמכים

  מאפשר לשלוף קטעים רלוונטיים מתוך מאגרי ידע גדולים באמצעות הבנת כוונת השאילתה.

• עיבוד מסמכים ארוכים

  מתאים לשיבוץ של חוזים או מאמרים שלמים בזכות חלון של 131,072 טוקנים בלי פירוק מוקדם.

• סיווג וניתוח טקסט

  מספק תוצאות חזקות במיון תגובות, זיהוי סנטימנט וקיבוץ טקסטים דומים לפי נושא.

איפה זה נופל

למרות השם של המודל, טבלת המדדים שצורפה אליו מציגה בפועל תוצאות ששייכות לגרסת ה־7B שלו ולא לגרסה הזו ישירות, מה שאומר שאין נתונים מאומתים בכרטיס לגבי הביצועים של גרסת ה־1.5B עצמה. בנוסף, משימות אחזור בתחומים טכניים צרים כמו קוד או מתמטיקה מציגות אחוזי הצלחה נמוכים משמעותית משאר המדדים, כך שלא כדאי לסמוך עליו בעיניים עצומות לשליפה מתוך תיעוד הנדסי כבד בלי לבדוק אותו מראש.

אותה משפחה

gte-Qwen2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 6.6 גיגה בייט בדיוק float32, כך שתצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגה זיכרון כדי להחזיק אותו בזיכרון ולהריץ שליפות בנוחות, במיוחד אם אתם מתכוונים לנצל את מלוא חלון ההקשר. הטעינה שלו נעשית ישירות דרך ספריית sentence-transformers או transformers הרגילה של פייתון.

אם אתם לא מחזיקים כרטיס ייעודי בשרת שלכם או צריכים רק שאילתות בודדות ביום, עדיף לפנות לנקודת קצה מנוהלת במקום להחזיק תשתית כבדה באוויר. מי שמחזיק שרת פנימי ומעבד כמויות גדולות של מסמכים ירוויח מריצה מקומית בלי לשלם פר קריאה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Alibaba-NLP/gte-Qwen2-1.5B-instruct")
v = m.encode(["שלום עולם"])

הקבצים

20 קבצים במאגר, 6.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors2.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• README.md146.3 KB
• modeling_qwen.py65.2 KB
• scripts/eval_mteb.py36.4 KB
• model.safetensors.index.json27.8 KB
• tokenization_qwen.py10.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json901 B
• special_tokens_map.json370 B
• modules.json349 B
• 1_Pooling/config.json297 B
• config_sentence_transformers.json284 B
• generation_config.json117 B
• added_tokens.json80 B
• sentence_bert_config.json55 B

הרישיון

הקוד והמשקולות משוחררים תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, ולשלב אותו במוצרים פנימיים או שירותים שנמכרים ללקוחות, כל עוד משאירים את הצהרת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗