sentence-t5-base

מה זה

הבסיס כאן הוא ה־Encoder בלבד של T5-base, בלי החלק שמייצר טקסט, שעבר הסבה מ־TensorFlow ל־PyTorch וממפה קטעי טקסט למרחב וקטורי של 768 ממדים. עם כ־110 מיליון פרמטרים ומשקל קבצים של 940 מגה בייט, הוא יושב בקטגוריית הגודל הסטנדרטית לצד משפחת BERT הוותיקה, אבל מביא ייצוגים שנבנו מראש על מודל טקסט לטקסט.

המפתחים מגדירים במפורש את היכולת שלו: הוא עובד היטב במשימות של דמיון בין משפטים. ההבדלים בתוצאות הווקטוריות מול המודל המקורי מ־TensorFlow Hub קיימים, אבל במבחני הביצועים שנעשו עליו הוא הציג תוצאות זהות למקור.

מתאים ל

• זיהוי כפילויות בטקסט

  השוואה ישירה בין משפטים באנגלית לצורך איחוד פניות או ניקוי נתונים, תחום שבו הוא מתפקד היטב.

• אשכול משפטים

  חלוקת מאגר של משפטים קצרים לקבוצות לפי דמיון סמנטי, בזכות ייצוג של 768 ממדים שמתאים לחישובי מרחק.

• הרצה מקומית חסכונית

  ייצור וקטורים מהיר בלי תלות ברשת ובעלויות קריאה, עם מודל קל שרץ על מעבד רגיל.

איפה זה נופל

המגבלה הכי גדולה כתובה ישירות בתיעוד: המודל פשוט לא מתפקד טוב במשימות של חיפוש סמנטי. אם אתם בונים מנוע חיפוש שמקבל שאילתה קצרה וצריך למצוא מסמך ארוך, הוא לא הבחירה הנכונה. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, והוא מיועד לאנגלית בלבד, כך שטקסטים בעברית לא יעבדו כאן כמו שצריך. אל תכניסו אותו כבסיס למערכות RAG בלי לבדוק ספציפית איך הוא מגיב לשאילתות שלכם.

איך מריצים

כדי להריץ אותו צריך רק להתקין את ספריית sentence-transformers מגרסה 2.2.0 ומעלה, לטעון את השם שלו ולהעביר רשימת משפטים לפונקציית הקידוד. המשקלים שמורים מראש ב־float16, כך שהדרישות מהחומרה נמוכות מאוד ואין שום בעיה להריץ אותו מקומית על מעבד רגיל, או על כרטיס מסך בסיסי לחלוטין אם רוצים מהירות גבוהה יותר בעיבוד כמויות.

במשקל כזה של פחות מג'יגה בייט וצריכת זיכרון מזערית, אין היגיון לשלם ל־API חיצוני. קל וזול בהרבה להחזיק אותו בתוך הקוד שלכם, אלא אם אתם מריצים מערכת שרתים נטולת שרת שבה כל הורדה ראשונית של קבצים מייצרת השהיה לא רצויה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/sentence-t5-base")
v = m.encode(["שלום עולם"])

הקבצים

20 קבצים במאגר, 940 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• rust_model.ot537.2 MB
• pytorch_model.bin219.3 MB
• model.safetensors219.3 MB
• 2_Dense/rust_model.ot2.4 MB
• 2_Dense/pytorch_model.bin2.4 MB
• 2_Dense/model.safetensors2.4 MB
• tokenizer.json1.4 MB
• spiece.model791.7 KB
• convert.ipynb74.6 KB
• tokenizer_config.json1.9 KB
• special_tokens_map.json1.8 KB
• README.md1.8 KB
• config.json1.4 KB
• .gitattributes1.2 KB
• modules.json461 B
• convert_to_fp16.py198 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• 2_Dense/config.json115 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא Apache 2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד, לארוז אותו באפליקציה שלכם ולהפיץ אותה ללקוחות. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗