GPT
הוספת כלי
G

Supabase/gte-small

קוד פתוח

Supabasemit2023-08-01

  • transformers.js
  • pytorch
  • onnx
  • bert
  • feature-extraction

פתרון אמבדינגס זעיר באנגלית שמיועד לרוץ ישירות בדפדפן או בסביבות Node.js ו־Deno. מפיק וקטורים של 384 ממדים בלי צורך בשרת ייעודי.

  • 512טוקנים בהקשר
  • 288 MBמשקל הקבצים
  • 27,296הורדות בחודש
  • 103לייקים

מה זה

מדובר בהמרה של gte-small, שפותח במקור על ידי Alibaba DAMO Academy, לפורמט ONNX כדי שיוכל לרוץ דרך Transformers.js. המודל מייצר וקטורים לטקסט לצורכי חיפוש סמנטי, סיווג ודירוג מחדש. כל הקבצים שלו שוקלים יחד 288 מגה-בייט, והוא עובד עם ייצוג של 384 ממדים לטקסט נתון.

לפי מדד MTEB, הדגם הקטן הזה עוקף מודלים כבדים בהרבה. הוא קיבל ציון ממוצע של 61.36 לעומת 60.99 של text-embedding-ada-002 מבית OpenAI, וגובר גם על סדרת MiniLM. המשמעות בפועל היא שאפשר לקבל יכולות אחזור ודמיון סמנטי ברמה תחרותית מאוד בלי לפנות לשירותים חיצוניים ובלי להחזיק תשתית כבדה.

מתאים ל

  • חיפוש סמנטי מקומי בדפדפן

    מאפשר לבצע חיפוש תוכן ישירות על מכשיר המשתמש ללא שליחת מידע לשרת חיצוני.

  • פונקציות קצה ו־Serverless

    בזכות משקל של 288 מגה-בייט הוא נטען מהר בסביבות כמו Supabase Edge Functions.

  • דירוג מחדש וסיווג באנגלית

    משיג ציון 57.7 בדירוג מחדש לפי MTEB, אידיאלי לסינון תוצאות חיפוש ראשוניות.

איפה זה נופל

הכרטיס מדגיש שהמודל מיועד אך ורק לאנגלית. טקסטים בעברית פשוט לא יעבדו כאן כמו שצריך. בנוסף, חלון ההקשר מוגבל בקשיחות ל־512 טוקנים, וכל טקסט ארוך מזה ייחתך אוטומטית. אם האפליקציה שלכם דורשת ניתוח מסמכים ארוכים ברצף אחד, המודל הזה לא יתאים.

שאלות
נפוצות

האם המודל הזה עובד בעברית?

לא. המודל אומן על אנגלית בלבד, ויוצריו מציינים זאת במפורש במגבלות. חיפוש או קידוד של טקסט בעברית יפיק תוצאות ירודות ולא שמישות.

מה ההבדל בינו לבין המודל המקורי של Alibaba?

המשקולות הומרו לפורמט ONNX על ידי Supabase כדי לאפשר הרצה פשוטה ב־JavaScript ובדפדפנים דרך Transformers.js. הארכיטקטורה והביצועים הבסיסיים נותרו זהים ל־gte-small המקורי.

מה קורה לטקסטים שמכילים יותר מ־512 טוקנים?

הטקסט ייחתך במקום. המודל לא תומך בהקשר ארוך מעבר ל־512 טוקנים, ולכן צריך לחלק פסקאות ארוכות למקטעים קטנים יותר לפני שמעבירים אותן לעיבוד.

איך מריצים

ההרצה נעשית באמצעות ספריית Transformers.js בתוך סביבות JavaScript כמו Deno, Node.js, דפדפן, או Supabase Edge Functions. אפשר לעבוד איתו גם בפייתון עם sentence-transformers. מבחינת חומרה, לא צריך כרטיס מסך. המודל קל מספיק כדי לרוץ על מעבד רגיל של שרת קצה, מחשב אישי או ישירות אצל משתמש הקצה.

ההבדל העיקרי מול הגרסה המקורית של עליבאבא הוא האריזה ב־ONNX שמאפשרת עבודה מיידית בסביבות ווב ו־JavaScript. שווה לפנות ל־API חיצוני רק אם רוצים לחסוך את זמני הטעינה הראשונית והחישוב במכשיר הקצה, או אם העומס גדול במיוחד.

pip install -U huggingface_hub
hf download Supabase/gte-small

הקבצים

12 קבצים במאגר, 288 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון MIT. זה רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי קוד, והפצה מחדש בתוך מוצרים סגורים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של המקור.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗