GPT
N

NuExtract-1.5

קוד פתוח

numindmit2024-09-26

  • safetensors
  • phi3
  • nlp
  • text-generation
  • conversational

numind עומדים גם מאחורי NuExtract 2.0 by NuMind, ויש עליו סקירה כאן.

מודל קומפקטי שמחלץ מידע מובנה ישירות לתוך תבנית JSON שאתם מגדירים מראש. הוא שולף את הנתונים מילה במילה מתוך מסמכים ארוכים, במקום להמציא ניסוחים משלו.

  • 3.8Bפרמטרים
  • 131,072טוקנים בהקשר
  • 7.1 GBמשקל הקבצים
  • 1,352הורדות בחודש

מה זה

הבסיס כאן הוא Phi-3.5-mini שעבר אימון ייעודי לחילוץ נתונים מובנה מתוך טקסט. אתם נותנים לו מסמך ותבנית סכמה של ג'ייסון, והוא ממלא את השדות הרלוונטיים. הדגש העיקרי של המפתחים הוא חילוץ מדויק, כזה שמביא את המידע כפי שהוא מופיע במקור בלי להמציא או לשכתב.

המודל מיועד לעבודה בכמה שפות אירופיות ומחזיק חלון הקשר עצום, מה שמאפשר להזין אליו מסמכים של עשרות עמודי טקסט ברצף. במקום להשתמש במודלי ענק כלליים ויקרים רק כדי למשוך שדות מתוך טפסים, אפשר להריץ אותו מקומית ולקבל פלט ישיר ומדויק למבנה שהגדרתם.

מתאים ל

  • חילוץ נתונים מחוזים

    שליפת תאריכים, סכומים ושמות מתוך עשרות עמודים ישירות למבנה שהגדרתם מראש.

  • עיבוד חשבוניות וקבלות

    משיכת שדות קבועים מתוך טקסטים בשפות אירופיות בלי צורך להפעיל מודל ענק ויקר.

  • טיוב מאגרי מידע

    המרת טקסט חופשי לאובייקטים מובנים במהירות ובטמפרטורה אפס למניעת הזיות.

איפה זה נופל

המודל הזה לא נועד לסכם, לנסח מחדש או לענות על שאלות פתוחות. הוא שולף מידע בלבד, ואם השדה לא קיים בטקסט במפורש, הוא לא אמור לנחש אותו. מעבר לזה, רשימת השפות הנתמכות מוגבלת לאנגלית, צרפתית, ספרדית, גרמנית, פורטוגזית ואיטלקית. עברית לא נמצאת ברשימה, ולכן אי אפשר להסתמך עליו לחילוץ מסמכים בעברית בלי בדיקה יסודית ומדוקדקת מראש.

שאלות
נפוצות

האם אפשר לחלץ איתו מידע ממסמכים בעברית?

הכרטיס מצהיר על תמיכה באנגלית ובחמש שפות אירופיות בלבד. עברית לא מוזכרת שם, כך שסביר להניח שהוא יתקשה או ייכשל בחילוץ מדויק. שווה לבדוק אותו על כמה דוגמאות במידה וזה קריטי, אבל אי אפשר להסתמך עליו מראש לטקסט מקומי.

למה המודל מחזיר תוצאות לא יציבות ב־Ollama?

ברירת המחדל של Ollama ושל כלי הרצה דומים מוגדרת לרוב על חום של 0.7 כדי לייצר טקסט יצירתי. המודל הזה אומן לשלוף עובדות מדויקות בלבד, ולכן חובה להגדיר את הטמפרטורה לאפס כדי לקבל את הפלט הנכון בלי סטיות.

איך מריצים

המשקל הכולל של הקבצים עומד על 7.1 גיגה בייט בדיוק של bfloat16. זה אומר שכרטיס מסך בודד עם 12 עד 16 גיגה זיכרון יריץ אותו בקלות, ואפילו כרטיסים צנועים יותר יסתדרו איתו אם תורידו אותו לקוונטיזציה. אם אתם צריכים משהו קל ומהיר בהרבה, יש להם גם גרסת 0.5B שמבוססת על ארכיטקטורה אחרת.

נקודה קריטית בהרצה: חובה לקבוע את הטמפרטורה לאפס או ממש קרוב לזה. סביבות הרצה פופולריות כמו Ollama מגדירות כברירת מחדל טמפרטורה של 0.7, מה שגורם למודל להתפזר ולהרוס לחלוטין את הדיוק בחילוץ הנתונים.

pip install -U huggingface_hub
hf download numind/NuExtract-1.5

הרישיון

הרישיון הוא MIT, שזה הרישיון הכי פתוח ונוח שיש. מותר לקחת את המודל, לשלב אותו בכל מוצר מסחרי, להריץ אותו בענן פרטי או להפיץ אותו בלי לשלם תמלוגים ובלי לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗