inf-retriever-v1-1.5b

מה זה

מדובר במודל שיכון צפוף המבוסס על gte-Qwen2-1.5B-instruct, שעבר כוונון ייעודי למשימות אחזור מידע. הוא מחזיר וקטורים בגודל 1536 ממדים ומיועד בעיקר למי שבונה מנועי חיפוש פנימיים, מערכות שאלות ותשובות או שלב שליפה עבור יישומי שפה.

במדד AIR-Bench של פברואר 2025 המודל הגיע למקום הראשון בקטגוריית המודלים מתחת ל־7 מיליארד פרמטרים באנגלית וסינית עם ציון ממוצע של 49.77 בגרסה אחת ו־51.28 בגרסה מעודכנת יותר. המספרים האלה מראים שבשליפה מעשית הוא עוקף מודלים גדולים ממנו בהרבה כמו GTE-Qwen2-7B ו־E5-mistral-7b, בעיקר בתחומי משפטים ומאמרים מדעיים באנגלית שבהם שמר על פער ברור מול המתחרים.

מתאים ל

• שליפה למערכות RAG

  הוא מציג ביצועים גבוהים באחזור מאמרים ומסמכי רשת באנגלית, תוך חיסכון ניכר במשאבי זיכרון.

• חיפוש בטקסטים פיננסיים

  במבחני AIR-Bench המודל קיבל מעל 56 נקודות בנתונים פיננסיים באנגלית, מעל מתחרים כבדים ממנו.

• אחזור מידע דו לשוני

  הוא אומן במיוחד על קורפוסים באנגלית ובסינית ומחזיר שיכונים מתואמים היטב בין שתי השפות.

איפה זה נופל

המודל עבר אימון ייעודי לאנגלית וסינית בלבד. למרות שבמדד הרב לשוני מדווחים ציונים סבירים בשפות נוספות, עברית אינה ברשימת השפות שבדקו, ולכן לא הייתי משתמש בו לחיפוש בעברית בלי בדיקה אמפירית מוקדמת.

בנוסף, יש סתירה בתיעוד לגבי אורך הקלט, המפרט הטכני מציין 131,072 טוקנים אך בתיאור המודל מצוין גבול של 32,768 טוקנים. אם אתם בונים על שיכון מסמכים שלמים וארוכים מאוד בבת אחת, תצטרכו לבדוק בעצמכם איפה הוא חותך בפועל.

אותה משפחה

inf-retriever יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית sentence-transformers או דרך transformers הרגילה, כשהמשקלים יושבים בפורמט bfloat16. קבצי המודל שוקלים 2.9 גיגה בייט, כך שכרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון יריץ אותו בקלות, ואפשר לדחוף אותו גם למעבד רגיל במכונות קטנות אם קצב השאילתות לא גבוה במיוחד.

הבחירה להריץ אותו בעצמכם מול פנייה ל־API חיצוני תלויה בעיקר בפרטיות המידע ובנפח השאילתות. אם אתם מעבדים מאגרי מסמכים פנימיים רגישים שאי אפשר להוציא החוצה, הגודל הקומפקטי שלו מאפשר פריסה מקומית זולה ויציבה בלי תלות ברשת.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("infly/inf-retriever-v1-1.5b")
v = m.encode(["שלום עולם"])

הקבצים

16 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• modeling_qwen.py67.6 KB
• README.md19.4 KB
• tokenization_qwen.py10.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json918 B
• special_tokens_map.json370 B
• modules.json349 B
• 1_Pooling/config.json297 B
• config_sentence_transformers.json284 B
• added_tokens.json80 B
• sentence_bert_config.json55 B

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, ושילוב שלהם במוצרים סגורים, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗