xlnet-base-cased
קוד פתוחxlnetmit2022-03-02
מודל שפה ותיק שמבוסס על פרמוטציות ונועד להבנת טקסט ארוך. הוא רלוונטי למי שמחפש בסיס יציב לאימון משימות סיווג, מענה לשאלות או ניתוח מסמכים באנגלית.
- 1.5 GBמשקל הקבצים
- 165,433הורדות בחודש
- 82לייקים
מה זה
הארכיטקטורה הזו פותחה כדי לפתור את המגבלות של מודלים מבוססי מיסוך רגילים. במקום לקרוא רק מכיוון אחד או להסתיר מילים באופן סטטי, הוא משתמש בלמידת שפה עם תמורות ומתבסס על שלד של Transformer XL. המבנה הזה נותן לו יתרון בטיפול בטקסטים ארוכים ובמשימות שדורשות הבנה של הקשר רחב ומורכב.
הוא מיועד בעיקר למיצוי ייצוגים ולביצוע כוונון עדין למשימות ספציפיות כמו סיווג טקסטים, הסקת מסקנות, ניתוח סנטימנט, דירוג מסמכים ומענה לשאלות. הוא מתחשב ברישיות של אותיות באנגלית, כך שהוא מבדיל בין שמות עצם פרטיים למילים רגילות.
מתאים ל
- סיווג מסמכים וטקסטים
מתאים לכוונון עדין לצורך חלוקת טקסטים ארוכים לקטגוריות או ניתוח סנטימנט באנגלית.
- מענה לשאלות מתוך טקסט
מנצל את הבנת ההקשר המלאה של המשפט כדי לאתר תשובות מתוך פסקאות.
- הפקת וקטורים להשוואה
מייצר ייצוגים עשירים של משפטים לצורכי דירוג מסמכים ומשימות דמיון טקסטואלי.
איפה זה נופל
למרות שהוא מוגדר תחת משימת ייצור טקסט, המפתחים מבהירים במפורש שהוא לא נועד לכתיבת טקסט חופשי, ועבור משימות כאלה כדאי לקחת מודלים כמו GPT2. בנוסף, הוא אומן רק על אנגלית, כך שאין לו שום הבנה או תמיכה בעברית. שימוש ישיר בו בלי כוונון עדין למשימה הספציפית שלכם כמעט חסר תועלת.
שאלות
נפוצות
האם כדאי להשתמש בו לייצור טקסט כמו צ'אטבוט?
לא. המודל מיועד לניתוח והבנה של משפטים שלמים, ובכרטיס המודל נכתב בפירוש שעבור יצירת טקסט עדיף לבחור במודלים כמו GPT2.
האם הוא מתאים לעיבוד טקסטים בעברית?
לא, הוא אומן אך ורק על השפה האנגלית. הוא לא יזהה נכון אותיות בעברית ולא יפיק תוצאות הגיוניות.
איך מריצים
אתם טוענים אותו ישירות דרך ספריית transformers בפייתון עם הטוקנייזר והמודל התואמים. הוא שוקל כ־1.5 ג'יגה בייט על הדיסק, כך שהוא רץ בקלות על כל מעבד גרפי מודרני ואפילו על מעבד רגיל של מחשב פיתוח חזק בלי מאמץ מיוחד.
אם אתם צריכים רק להוציא ייצוגים וקטוריים או לסווג נתונים פנימיים בלי לשלוח מידע החוצה, הרצה עצמית בשרת מקומי פשוטה וזולה מאוד. במקרה שאין לכם תשתית ענן מנוהלת ותרצו רק שאילתות מזדמנות, אפשר לחפש נקודות קצה מוכנות, אבל הגודל הצנוע שלו הופך אירוח עצמי לצעד מתבקש.
from transformers import pipeline
pipe = pipeline("text-generation", model="xlnet/xlnet-base-cased")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי, הפצה ושילוב בקוד סגור, בלי צורך לחשוף את הפיתוח שלכם. הדרישה היחידה היא לשמור על הצהרת זכויות היוצרים המקורית והפטור מאחריות בקבצי התוכנה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש