text2vec-large-chinese

מה זה

מדובר במודל שנועד למשימות דמיון בין משפטים בסינית, שמחליף את עמוד השדרה של מודל הבסיס של shibing624 בארכיטקטורת LERT עם עשרים וארבע שכבות. המטרה של המהלך הזה היא לשפר את הדיוק של ייצוג הטקסט בלי לשנות את שאר תנאי האימון שהיו במקור.

הוא מפיק וקטורים שמייצגים משמעות של משפטים ופסקאות קצרות, מה שעוזר במערכות חיפוש סמנטי, סינון כפילויות או סיווג טקסטים. ההבדל המרכזי מול גרסאות קטנות יותר הוא המשקל של שלוש מאות עשרים ושישה מיליון פרמטרים, שנותן לו יכולת טובה יותר לקלוט דקויות בשפה, אבל דורש יותר משאבים בזמן ריצה.

מתאים ל

• חיפוש סמנטי בסינית

  ממיר שאילתות ומסמכים לווקטורים כדי למצוא התאמות לפי משמעות ולא לפי מילות מפתח יבשות.

• זיהוי כפילויות בטקסט

  מחשב מרחק בין משפטים שונים בסינית כדי לאתר תוכן זהה שנכתב בניסוח אחר.

• שליפה לתוך מודלי שפה

  משמש שלב ראשון במערכות RAG שצריכות למצוא פסקאות רלוונטיות מתוך מאגר מידע בסינית.

איפה זה נופל

הוא מוגבל לחלון הקשר של 512 טוקנים, כך שאי אפשר לזרוק לתוכו מסמכים ארוכים בבת אחת בלי לחתוך אותם קודם. בנוסף, הוא אומן על סינית בלבד. אם תנסו להריץ עליו טקסט מעורב עם עברית או אנגלית, תקבלו תוצאות עקומות או חסרות משמעות לחלוטין. הכרטיס שלו דל מאוד בפרטים על מערכי הנתונים ששימשו לאימון, ולכן חובה לבדוק אותו על הדאטה הספציפי שלכם לפני שסומכים עליו בפרודקשן.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בתוך פייתון. קבצי המודל שוקלים 2.4 ג'יגה בייט בדיוק מלא, כך שכרטיס מסך בסיסי עם 4 או 6 ג'יגה זיכרון יריץ אותו בקלות. קיים גם פורמט מומר ל־onnxruntime שפורסם מאוחר יותר, ומתאים למי שרוצה להריץ אותו ישירות על מעבד בלי פייתון כבד.

אם אתם צריכים רק לבדוק שאילתות בודדות פעם ביום, הרמה של שרת ייעודי מיותרת. לעומת זאת, אם אתם מחשבים וקטורים למיליוני שורות של תוכן מקומי, שרת קטן עם מעבד גרפי יחסוך עלויות של קריאות רשת ויעבוד מהר יותר.

from transformers import pipeline

pipe = pipeline("sentence-similarity", model="GanymedeNil/text2vec-large-chinese")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.3 GB
• model.safetensors1.3 GB
• tokenizer.json439.4 KB
• vocab.txt109.5 KB
• .gitattributes1.5 KB
• config.json821 B
• tokenizer_config.json514 B
• README.md490 B
• special_tokens_map.json125 B
• eval_results.txt69 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי, כולל שילוב במוצרים מסחריים ושינוי של הקוד או המשקלים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם. אין חובה לפתוח את הקוד של המוצר שבו תטמיעו אותו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗