specter

מה זה

מדובר במודל שמייצר ייצוג וקטורי ברמת המסמך כולו, עם התמחות מובהקת במאמרים מדעיים. במקום להסתמך רק על סמיכות של מילים בטקסט, הוא אומן על גרף הציטוטים האקדמי. הקשר בין מאמרים שמצטטים זה את זה לימד אותו לזהות קרבה נושאית אמיתית, מה שהופך את הווקטורים שלו לממוקדים מאוד.

היתרון המעשי כאן הוא היכולת להשתמש בו ישר מהקופסה לחלוקה לקבוצות, חיפוש והמלצות על מאמרים דומים, בלי שתצטרכו לעשות fine-tuning למשימה הספציפית שלכם. הוא יושב על ארכיטקטורת BERT סטנדרטית עם 12 שכבות, כך שהוא מתאים למי שמחפש משהו מוכר ויציב לעבודה עם ספרות מחקרית.

מתאים ל

• חיפוש מאמרים דומים

  וקטורים שנבנו מגרף ציטוטים מוצאים קשרים נושאיים בין מחקרים לפי כותרת ותקציר.

• סיווג אוטומטי של תקצירים

  עובד ישר מהקופסה למיון מסמכים מדעיים לקטגוריות בלי צורך באימון מודל ייעודי.

• מערכות המלצה למחקרים

  התאמת תוכן אקדמי לקוראים על בסיס דמיון וקטורי מובנה בין פרסומים שונים.

איפה זה נופל

היוצרים עצמם כותבים בעמוד המודל שיצא לו מחליף, specter2, וממליצים להשתמש בגרסה החדשה יותר. חוץ מזה, המודל אומן רק על אנגלית ומוגבל לחלון הקשר קצר של 512 טוקנים, מה שאומר שאי אפשר להזין אליו מאמר שלם אלא רק כותרת ותקציר.

איך מריצים

המודל שוקל 1.2 גיגהבייט ורץ דרך ספריית transformers הרגילה, כך שאין שום בעיה להרים אותו על כרטיס מסך בסיסי או אפילו על מעבד רגיל בשרת פשוט. אין כאן דרישות חומרה כבדות או תלויות מסובכות.

אם אתם רק צריכים להריץ אצוות של תקצירי מאמרים מדי פעם, הרצה מקומית על לפטופ פיתוח תספיק בהחלט. שירות חיצוני שווה לשקול רק אם אתם צריכים לאנדקס מאות אלפי מאמרים בזמן קצר ואין לכם שרת ייעודי זמין לפעולה הזו.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="allenai/specter")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5440.0 MB
• pytorch_model.bin439.8 MB
• flax_model.msgpack439.8 MB
• vocab.txt222.3 KB
• README.md1.2 KB
• config.json612 B
• .gitattributes391 B
• tokenizer_config.json321 B
• special_tokens_map.json112 B

הרישיון

רישיון apache-2.0 מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה במוצר שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי תמלוגים ובלי חובת פתיחת קוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗