GPT
הוספת כלי
B

Xenova/bge-m3

קוד פתוח

Xenovamit2024-02-01

  • transformers.js
  • onnx
  • xlm-roberta
  • feature-extraction

גרסת ווב של מודל ההטמעות הרב לשוני BAAI/bge-m3, שהוסבה לפורמט ONNX כדי לרוץ ישירות בתוך סביבות JavaScript עם Transformers.js, יחד עם חלון הקשר נדיב.

  • 8,194טוקנים בהקשר
  • 15.5 GBמשקל הקבצים
  • 113,383הורדות בחודש
  • 51לייקים

מה זה

מדובר בהמרה של BAAI/bge-m3 למשקלי ONNX, שמיועדת למשימות של חילוץ וקטורים (feature-extraction) וחיפוש סמנטי. המודל מבוסס על ארכיטקטורת XLMRobertaModel עם 24 שכבות, ומפיק וקטורים בגודל 1024 ממדים עבור טקסטים שאתם מעבירים לו, כולל תמיכה מובנית בנרמול ובפולר מסוג cls.

היתרון המרכזי כאן הוא חלון הקשר של 8,194 טוקנים, שמאפשר לבלוע מסמכים שלמים בלי לחתוך אותם לגזרים קטנים מראש. היכולת להריץ ארכיטקטורה כזו בסביבת Node.js או בדפדפן בלי תלות בשרת פייתון ייעודי היא הסיבה העיקרית לבחור בגרסה הזו על פני המקור.

מתאים ל

  • חיפוש סמנטי במסמכים ארוכים

    חלון של 8,194 טוקנים קולט דוחות ומאמרים מלאים בבת אחת.

  • שרתי ווקטורים ב־Node.js

    מאפשר לייצר הטמעות ישירות בסביבת ג'אווהסקריפט בלי פייתון.

  • אינדוקס טקסטים רב לשוני

    ארכיטקטורת XLMRoberta מתמודדת עם בליל שפות שונות ביעילות.

איפה זה נופל

המשקל הכבד הוא החיסרון הראשי. הורדה של קבצים מרובים בנפח של 15.5 ג'יגה בייט דורשת רוחב פס רציני, מקום פנוי והמון זיכרון עבודה רק כדי להעלות את המודל ל־ONNX Runtime. בנוסף, המאגר עצמו מוגדר על ידי היוצרים כפתרון זמני עד שתקני WebML יבשילו, כך שדברים עשויים להשתנות בעתיד. אין כאן מנגנון מובנה לחיפוש דליל או יצירת טקסט, אלא אך ורק הפקת וקטורים דחוסים.

שאלות
נפוצות

האם המודל מתאים לריצה ישירות בדפדפן של לקוח?

לא ממש. נפח הקבצים עומד על 15.5 ג'יגה בייט, ומשתמש ממוצע לא יחכה להורדה כזו וגם יקרוס מחוסר זיכרון. הגרסה הזו מיועדת בעיקר לריצה בצד שרת באמצעות Node.js או בסביבות פיתוח ייעודיות.

מה ההבדל בינו לבין BAAI/bge-m3 הרגיל?

המשקלים הוסבו כאן לפורמט ONNX כדי להתאים לספריית Transformers.js. מדובר באותו מודל בסיס, אך בפורמט שמאפשר לטעון אותו ישירות בג'אווהסקריפט.

איך מריצים

מתקינים את חבילת transformers מ־NPM, טוענים pipeline מסוג feature-extraction עם המזהה Xenova/bge-m3, ומריצים אותו על מערך של מחרוזות. הקריאה מחזירה טנזור עם הנתונים, ואפשר להמיר אותו ישירות לרשימת ג'אווהסקריפט רגילה.

המשקל הכולל של הקבצים במאגר מגיע ל־15.5 ג'יגה בייט שמתפרסים על 26 קבצים. בדפדפן של משתמשי קצה רגילים זה פשוט לא יעבוד בגלל זמני הורדה וזיכרון, כך שזה מתאים בעיקר לריצה מקומית בשרתי Node.js חזקים או סביבות עם משאבים כבדים. אם אתם בונים אפליקציית לקוח קלה, עדיף להישאר עם קריאות ל־API מרוחק.

pip install -U huggingface_hub
hf download Xenova/bge-m3

הקבצים

26 קבצים במאגר, 15.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים שלכם ללא תשלום תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗