pplx-embed-context-v1-0.6b

מה זה

מערכות שליפה רגילות חותכות מסמכים למקטעים ומאבדות בדרך את ההקשר הכללי של הטקסט. הגרסה הזו נבנתה במיוחד כדי לקבל רשימות של מקטעים מתוך מסמך ולייצר לכל אחד מהם וקטור שלוקח בחשבון את המקטעים האחרים סביבו, באורך של עד 32,768 טוקנים. הבסיס שלו הוא מודל שפה של Qwen3 שעבר אימון המשך בשיטת דיפוזיה על ידי פרפלקסיטי.

ההבדל המשמעותי מול מודלים מתחרים בגודל הזה הוא הוויתור על קידומות הוראה. רוב מודלי השליפה העדכניים דורשים להדביק הוראה מיוחדת לפני הטקסט כדי להגיע לביצועים טובים, מה שמסבך את תהליך האינדוקס. כאן מכניסים את הטקסט ישירות, והוא מייצר ייצוגים של 1,024 ממדים שתומכים גם בהקטנת גודל הוקטור דרך MRL וגם בכימות לבינארי או אינט שמונה ישירות מהקופסה.

מתאים ל

• אינדוקס מקטעים במערכות RAG

  מייצר וקטור מדויק לכל פסקה תוך שמירה על ההקשר של כל המאמר סביבה.

• חיפוש חסכוני במשאבים

  תומך בכימות מובנה לשמונה ביט וחיפוש בינארי, מה שמקטין מאוד את נפח האחסון בראם.

• מסמכים ארוכים ללא פרומפט

  מאנדקס חומרים של עשרות אלפי טוקנים ישירות, בלי להסתבך עם התאמת קידומות טקסט.

איפה זה נופל

הווקטורים שיוצאים מהמודל אינם מנורמלים ומגיעים בכימות מקורי של שמונה ביט. אם מסד הנתונים הווקטורי שלכם מוגדר לחשב מרחק דוט פרודקט רגיל בלי לנרמל, התוצאות יהיו משובשות לחלוטין. חייבים להשתמש בחישוב דמיון קוסינוס בלבד.

בנוסף, המודל הזה לא מיועד לשאילתות קצרות ובודדות של משתמשים. בשביל השאילתה עצמה אתם צריכים להריץ מודל מקביל מהסדרה שלא דורש הקשר מסמך, מה שאומר ניהול של שני מודלים שונים באותו פייפליין שליפה.

אותה משפחה

pplx-embed-context יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים את המודל ישירות דרך ספריית transformers הרגילה בפייתון, אבל חייבים להפעיל את האפשרות להרצת קוד מרוחק כי מדובר בארכיטקטורה מותאמת אישית. מבחינת חומרה, מודל של 596 מיליון פרמטרים ששוקל 5.5 ג'יגה בייט רץ בלי בעיה על כרטיס מסך בסיסי עם 8 ג'יגה זיכרון, ואפילו על מעבד רגיל אם העומס שלכם נמוך.

אם אתם צריכים לאנדקס כמויות אדירות של מסמכים ולא רוצים להחזיק שרתים דלוקים כל הזמן, יש לו נקודת קצה ייעודית ב־API של פרפלקסיטי שמקבלת את אותם מערכים. הרצה עצמית שווה רק כשאתם חייבים שהטקסט לא ייצא מהרשת המקומית או כשיש לכם שרת עם כרטיס מסך פנוי שממילא עובד.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="perplexity-ai/pplx-embed-context-v1-0.6b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 5.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.4 GB
• onnx/model.onnx_data2.1 GB
• onnx/model_quantized.onnx_data706.1 MB
• onnx/model_q4.onnx_data398.8 MB
• onnx/model.onnx_data_1306.2 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• assets/diag.png1.0 MB
• onnx/model_quantized.onnx612.9 KB
• onnx/model_q4.onnx608.0 KB
• onnx/model.onnx518.9 KB
• assets/logo.svg48.6 KB
• modeling.py13.6 KB
• README.md8.8 KB
• tokenizer_config.json5.6 KB
• st_quantize.py4.4 KB
• .gitattributes1.9 KB
• config.json1.6 KB
• special_tokens_map.json788 B
• added_tokens.json707 B
• modules.json362 B
• 1_Pooling/config.json271 B
• configuration.py152 B

הרישיון

הקוד והמשקולות משוחררים תחת רישיון MIT. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להטמיע אותו במוצר שלכם בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗