specter2
קוד פתוחallenaiרישיון לא דווח2023-02-17
מתאם משקל קל שמייצר וקטורים למאמרים מדעיים לפי כותרת ותקציר. אם אתם בונים חיפוש מבוסס דמיון או מערכת המלצות לתוכן אקדמי, זו הכתובת.
- 3.4 MBמשקל הקבצים
- 5,247הורדות בחודש
- 87לייקים
מה זה
המאגר הזה מחזיק מתאם מסוג Proximity שמתלבש על מודל הבסיס של המשפחה, שניהם מבוססים על ארכיטקטורת bert-base-uncased שעברה אימון המשך על scibert. הרעיון כאן הוא לקחת כותרת ותקציר של מאמר ולהמיר אותם לווקטור שמייצג קרבה נושאית, כשהאימון עצמו התבסס על מעל שישה מיליון שלשות של ציטוטים מדעיים.
במדדי SciRepEval המודל מציג תוצאות טובות יותר מהדור הראשון של SPECTER וממודלים מקבילים כמו SciNCL. במבחן שליפת הציטוטים MDCR הוא מוביל עם מדדי MAP של 38.4 וריקול של 33.0 בחמשת התוצאות הראשונות, פער ברור מול BM25 וגרסאות קודמות שמראה שהוא באמת קולט קשרים אקדמיים עמוקים ולא רק התאמת מילים.
מתאים ל
- שליפת מאמרים דומים
מציאת מאמרים רלוונטיים מתוך מאגר אקדמי לפי כותרת ותקציר של מאמר קיים.
- המלצת ציטוטים למחקר
זיהוי מקורות רלוונטיים לציטוט על בסיס טיוטת תקציר, תוך שימוש במדדי הקרבה של המודל.
- חיפוש שכן קרוב במאגר
בניית אינדקס וקטורי למסמכים מדעיים לשליפה מהירה של מחקרים מאותו תחום.
איפה זה נופל
אורך הקלט מוגבל ל־512 טוקנים. המשמעות היא שאי אפשר להזין מאמר מלא, אלא רק שילוב של כותרת ותקציר, וטקסט ארוך מעבר לזה ייחתך. בנוסף, המתאם הזה מיועד ספציפית לחיפוש ודמיון בין מאמרים. אם תרצו להזין שאילתת חיפוש קצרה של משתמש או לבנות מסווג, תצטרכו להחליף מתאם אחר מהסדרה ולא להשתמש בזה ישירות.
אותה משפחה
specter2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להריץ את הקובץ הזה לבד?
לא. מדובר במתאם ששוקל 3.4 מגה בייט ומכיל רק שכבות משקל ייעודיות. צריך לטעון קודם את מודל הבסיס allenai/specter2_base באמצעות ספריית adapters ורק אז להצמיד אליו את הרכיב הזה.
האם הכלי מתאים לטקסט חופשי וכללי?
לא מומלץ. הוא אומן על טקסטים אקדמיים ומבנה של ציטוטים מדעיים באנגלית. למשימות טקסט כלליות עדיף לבחור במודלי הטמעה רגילים שלא הותאמו ספציפית למאמרים.
איך משתמשים בו לחיפוש עם שאילתה קצרה?
עבור השאילתה הקצרה עצמה עדיף לטעון את המתאם הייעודי לשאילתות של אותה סדרה, ולקודד את מאגר המאמרים עם המתאם הנוכחי כדי לקבל דיוק מרבי בהתאמה ביניהם.
איך מריצים
הקובץ שוקל 3.4 מגה בייט בלבד כי מדובר במתאם, לא במודל שלם. כדי להריץ את זה אתם חייבים להתקין את ספריית adapters, לטעון דרכה את allenai/specter2_base, ורק אז להלביש עליו את המתאם הזה ולהפעיל אותו בקוד.
מבחינת חומרה המודל המלא שמתחת למתאם דורש משאבים סטנדרטיים של BERT, כך שאפשר להריץ אותו בקלות על כל מעבד גרפי פשוט ואפילו על מעבד רגיל בשרת זול. לא צריך שירותי ענן יקרים, אבל כן חייבים לוודא שסביבת הפייתון שלכם מעודכנת לספריות שמתממשקות נכון עם התחביר של adapter-transformers.
pip install -U huggingface_hub hf download allenai/specter2
הקבצים
4 קבצים במאגר, 3.4 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
במטא-דאטה של הדף לא צוין רישיון מפורש, אך בגוף הכרטיס המפתחים מציינים Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים ללא תשלום, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.