GPT
הוספת כלי
Q

question-vs-statement-classifier

קוד פתוח

shahrukhx01רישיון לא דווח2022-03-02

  • transformers
  • pytorch
  • safetensors
  • bert
  • text-classification

המודל מסווג שאילתות חיפוש ומבדיל בין שאלות לבין הצהרות באנגלית. הוא שוקל פחות מ־90 מגה-בייט ומתאים למי שרוצה לנתב שאילתות במנוע חיפוש בלי לשרוף משאבים.

  • 11Mפרמטרים
  • 512טוקנים בהקשר
  • 85.5 MBמשקל הקבצים
  • 64,792הורדות בחודש

מה זה

מדובר במודל סיווג טקסט זעיר של 11 מיליון פרמטרים על בסיס BERT, שנבנה במקור עבור צינורות החיפוש של ספריית Haystack. התפקיד שלו פשוט, לקבל משפט קלט באנגלית של עד 512 טוקנים ולקבוע אם מדובר בשאלה שדורשת תשובה ישירה או בהצהרה שמכוונת לשליפת מסמכים כללית.

בגודל כזה, עם 4 שכבות בלבד, אין כאן כוונה להבין תחכום לשוני עמוק או לנתח פסקאות מורכבות. הוא נבנה כרכיב ניתוב מהיר מאוד בתחילת תהליך חיפוש, כדי לא לבזבז זמן עיבוד של מודלים כבדים יותר על שאילתות שלא זקוקות להם.

מתאים ל

  • ניתוב שאילתות חיפוש

    הוא קובע אם שאילתה היא שאלה שמצריכה מודל תשובות או הצהרה שמתאימה לחיפוש רגיל.

  • סינון קלט במערכות RAG

    מאפשר להחליט מראש אילו פניות שולחים לשליפת מידע בלי להעמיס על מודל השפה הגדול.

  • מיון לוגים של חיפוש

    סיווג אוטומטי של היסטוריית חיפושים כדי לנתח מה המשתמשים מחפשים באנגלית.

איפה זה נופל

המודל אומן רק על אנגלית, כך שהוא לא יעבוד על שאילתות בעברית. כרטיס המודל לא מציג מדדי דיוק, נתוני אימון או מידע על כמות השגיאות שלו, מה שמחייב אתכם לבדוק אותו עצמאית על מדגם שאילתות לפני שאתם סומכים עליו בייצור. בנוסף, הוא מבצע סיווג בינארי בלבד בין שאלה להצהרה, ולא יזהה כוונות חיפוש מורכבות יותר.

שאלות
נפוצות

האם המודל מזהה שאלות בעברית?

לא. המודל הוגדר ואומן עבור השפה האנגלית בלבד. אם תזינו לו טקסט בעברית, התוצאות יהיו שגויות לחלוטין.

כמה זיכרון וכוח עיבוד צריך כדי להריץ אותו?

המודל מכיל 11 מיליון פרמטרים ושוקל 85.5 מגה-בייט. הוא רץ בקלות על מעבד רגיל של שרת פשוט וצורך עשרות מגה-בייטים בודדים של זיכרון עבודה.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון בשתי שורות קוד עם AutoModelForSequenceClassification. הוא שוקל 85.5 מגה-בייט בלבד, כך שלא צריך שום כרטיס מסך כדי להריץ אותו והוא עובד חלק גם על מעבד ישן או בתוך קונטיינר קטן וזול.

אין שום היגיון לשלם ל־API חיצוני על משימה מהסוג הזה, כי העלות החישובית שלו אפסית ואפשר להריץ אותו מקומית בתור מיקרו-סרוויס בלי להרגיש פגיעה בביצועים.

from transformers import pipeline

pipe = pipeline("text-classification", model="shahrukhx01/question-vs-statement-classifier")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 85.5 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא הגדיר רישיון שימוש בקבצי המודל. מבחינה משפטית, כשאין רישיון מפורש, אין היתר ברור להשתמש בו במוצר מסחרי, וזה סיכון שחברות מסודרות בדרך כלל מעדיפות לא לקחת עד שהמפתח מבהיר את תנאי ההפצה.

הרישיון המלא בעמוד המודל ↗