gte-tiny

מה זה

מדובר במודל טקסט זעיר בן עשרים ושלושה מיליון פרמטרים שמבוסס על שש שכבות של BERT. המטרה העיקרית שלו היא להמיר משפטים ופסקאות קצרות לווקטורים מספריים לצורכי השוואת דמיון, חיפוש סמנטי וסיווג.

התוצאות במבחני MTEB מציגות פערים ברורים בהתאם למורכבות המשימה. בסיווג פשוט כמו קוטביות ביקורות הוא עומד על שמונים ושמונה אחוזי דיוק, ובדירוג שאלות טכניות זהות בפורומים הוא רושם ביצועים טובים של כמעט שבעים וחמישה אחוזים במדד MRR. לעומת זאת, כשהטקסט הופך מורכב יותר, למשל בסיווג רב שכבתי של ביקורות, הדיוק צונח לארבעים ושניים אחוזים בלבד. הוא מספק פתרון זול שמתחרה ישירות במודלים קטנים מסוג MiniLM, אך גודלו המצומצם גובה מחיר בהבנת הקשר עדין.

מתאים ל

• סינון כפילויות תמיכה

  זיהוי פניות דומות בזמן אמת על גבי שרת מקומי חלש.

• מיון ראשוני של ביקורות

  סיווג מהיר וזול של משוב חיובי מול שלילי באנגלית.

• חיפוש סמנטי במכשיר קצה

  אינדוקס מסמכים קצרים בתוך אפליקציה בלי תלות ברשת.

איפה זה נופל

חלון ההקשר מוגבל לחמש מאות ושנים עשר טוקנים, כך שטקסטים ארוכים ייחתכו. במבחני אחזור על נושאים מורכבים כמו מתמטיקה הוא מקבל פחות מעשרים אחוז דיוק בתוצאה הראשונה, מה שמראה שהוא מתקשה בעבודה עם מונחים מופשטים. מעבר לכך, כל המבחנים נערכו באנגלית, וסביר להניח שבעברית הביצועים ייפגעו קשות עקב אוצר המילים המוגבל של המודל המקורי.

איך מריצים

טוענים אותו ישירות בעזרת sentence-transformers בפייתון, בדיוק כמו כל מודל דמיון טקסט סטנדרטי. כל המשקל שלו הוא 282 מגה בייט בפורמט float16, מה שאומר שהוא נטען מיד לתוך זיכרון עבודה פשוט של מעבד רגיל בלי שום דרישה לכרטיס מסך ייעודי.

שרת וירטואלי זול עם מעבד בסיסי וג׳יגה בייט בודד של זיכרון יריץ אותו בקלות לצד היישום הראשי שלכם. אם אתם מעבדים אלפי בקשות במקביל ומחפשים דיוק מקסימלי בחיפוש, קריאה לשרותי API חיצוניים תחסוך כאב ראש. אבל אם הנתונים צריכים להישאר מקומית וזמן התגובה הקצר קריטי, אין שום סיבה לשלם לספק ענן.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("TaylorAI/gte-tiny")
v = m.encode(["שלום עולם"])

הקבצים

17 קבצים במאגר, 282 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx90.4 MB
• onnx/model_optimized.onnx90.3 MB
• pytorch_model.bin45.5 MB
• model.safetensors45.5 MB
• onnx/model_quantized.onnx22.9 MB
• tokenizer.json711.7 KB
• vocab.txt231.5 KB
• README.md65.4 KB
• tokenizer_config.json1.5 KB
• .gitattributes1.5 KB
• config.json669 B
• modules.json229 B
• special_tokens_map.json228 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json123 B
• added_tokens.json82 B
• sentence_bert_config.json53 B

הרישיון

היוצרים לא ציינו רישיון שימוש בעמוד המודל. מבחינה משפטית, היעדר רישיון מוגדר משמעו שכל הזכויות שמורות ואין אישור מפורש לשימוש מסחרי או להפצה בתוך מוצר. לפני שמשלבים אותו בסביבת ייצור, חובה לפנות למפרסמים כדי להסדיר אישור שימוש כתוב.

הרישיון המלא בעמוד המודל ↗