gtr-t5-large

מה זה

מדובר בהסבה ל־PyTorch של המודל gtr-large-1 המקורי מבית גוגל, שמבוססת רק על רכיב האנקודר של ארכיטקטורת T5. הוא מאומן במיוחד לשמש כ־Dual Encoder לצורכי שליפת מידע וחיפוש סמנטי, כפי שתואר במאמר Large Dual Encoders Are Generalizable Retrievers. המודל מייצר וקטורים באורך 768, שמייצגים פסקאות ומשפטים שלמים לצורך השוואת דמיון.

למרות שהגרסה הזו עשויה לייצר ערכי וקטורים מעט שונים בהשוואה למודל המקורי ב־TensorFlow Hub, המפתחים מציינים שבמבחני ביצועים התוצאות זהות לחלוטין. הוא מתאים למי שבונה מנוע חיפוש טקסטואלי או צינור שליפה ורוצה בסיס מוכח בלי להחזיק מודל ענק ומסורבל בזיכרון.

מתאים ל

• חיפוש סמנטי באנגלית

  הוא אומן בדיוק עבור שליפת מידע מבוססת משמעות וממיר פסקאות לווקטורים של 768 ממדים.

• שלב שליפה ראשוני ב־RAG

  הוא מבוסס על אנקודר בלבד ורץ מהר ב־float16, מה שמתאים לשליפה מהירה ממאגר נתונים.

• מדידת דמיון בין משפטים

  מתאים להשוואת שאילתות למאגר קיים בזכות ארכיטקטורת Dual Encoder ייעודית.

איפה זה נופל

הבעיה המרכזית שלו היא התמיכה בשפות: המודל מוגדר ומאומן לאנגלית בלבד, כך שאם תנסו להריץ עליו טקסטים בעברית לא תקבלו תוצאות סבירות. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, ולכן הוא מתאים לפסקאות בודדות ולא למסמכים ארוכים או לספרים שלמים בלי פיצול מקדים. המפתחים גם מציינים שקיימים הבדלים קלים בערכי הווקטורים בינו לבין המימוש המקורי ב־TensorFlow, נקודה שצריך לבדוק אם אתם משלבים בין שתי הסביבות.

איך מריצים

ההרצה פשוטה מאוד באמצעות ספריית sentence-transformers מגרסה 2.2.0 ומעלה, עם קריאה ישירה של שתי שורות קוד ב־Python. המשקלים שמורים בדיוק float16 ותופסים כ־1.3 גיגה-בייט דיסק, כך שכרטיס מסך בסיסי עם 4 עד 6 גיגה-בייט VRAM יספיק לטעינה ולהסקה מהירה, וגם מעבד רגיל יתמודד איתו בלי בעיה מיוחדת.

אם יש לכם שרת מקומי עם מאיץ גרפי, אין שום סיבה לשלם לספקי ענן על API חיצוני עבור מודל בגודל כזה. שווה לפנות לשירות מנוהל חיצוני רק אם אתם עובדים בסביבה נטולת GPU לחלוטין וצריכים לעבד כמויות גדולות של שאילתות במקביל בזמני תגובה נמוכים.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/gtr-t5-large")
v = m.encode(["שלום עולם"])

הקבצים

16 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin670.0 MB
• model.safetensors669.9 MB
• 2_Dense/pytorch_model.bin3.1 MB
• 2_Dense/model.safetensors3.1 MB
• tokenizer.json1.4 MB
• spiece.model791.7 KB
• tokenizer_config.json1.9 KB
• special_tokens_map.json1.8 KB
• README.md1.7 KB
• config.json1.4 KB
• .gitattributes1.2 KB
• modules.json461 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• 2_Dense/config.json116 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא וחופשי. אתם יכולים לשלב אותו במוצרים פנימיים או מסחריים, לשנות אותו ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗