GPT
N

NuExtract

קוד פתוח

numindmit2024-05-31

  • transformers
  • safetensors
  • phi3
  • text-generation
  • conversational

numind עומדים גם מאחורי NuExtract 2.0 by NuMind, ויש עליו סקירה כאן.

הוא לוקח טקסט חופשי ושולף ממנו מידע ישר לתוך תבנית JSON מוגדרת מראש. במקום לנחש או להמציא עובדות, הוא מעתיק רק מילים שמופיעות במקור.

  • 3.8Bפרמטרים
  • 4,096טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 566הורדות בחודש

מה זה

מדובר בהתאמה ייעודית של phi-3-mini של מיקרוסופט, שאומנה על דאטה סינתטי סגור במטרה אחת בלבד: חילוץ מידע מובנה. במקום מודל שיחה כללי שמנסה להיות יצירתי, מקבלים כאן כלי ממוקד שמחזיר תשובות לפי סכמה שאתם מגדירים מראש. המודל פועל בצורה חילוצית בלבד, כלומר כל פיסת מידע שהוא פולט חייבת להופיע מילה במילה בתוך הטקסט המקורי שהזנתם.

היוצרים שלו מציעים גם גרסאות נוספות במשקלים שונים, כמו גרסת 0.5B קלה או גרסת 7B כבדה יותר, כדי לאפשר גמישות בין מהירות לביצועים. עם זאת, היוצרים עצמם מציינים במפורש שהגרסה הזו מיושנת וכבר קיימת גרסה עדכנית יותר בשם 1.5 שכדאי לבדוק.

מתאים ל

  • חילוץ פרטים מחשבוניות

    שליפת שמות ספקים, מחירים ותאריכים מתוך מסמכים קצרים באנגלית ישר למבנה נתונים מסודר.

  • עיבוד קורות חיים

    המרת קובצי טקסט של מועמדים לשדות קבועים של ניסיון, תפקידים והשכלה בלי להמציא נתונים.

  • הזנת לידים להודעות

    קריאת פניות באנגלית ומשיכת פרטי קשר, שמות חברות וצרכים מוגדרים ישירות לתוך ה־CRM.

איפה זה נופל

המגבלה הכי קריטית כאן היא אורך הקלט: הכרטיס דורש להזין טקסטים של פחות מ־2000 טוקנים, כך שמסמכים ארוכים או חוזים שלמים ייחתכו או ייכשלו. בנוסף, המודל אומן ותומך רשמית רק באנגלית, כך שאין מה לבנות עליו לחילוץ נתונים בעברית. מאחר שהוא רק מחלץ ולא מייצר, הוא לא יודע לסכם, לנרמל תאריכים או להסיק מסקנות שלא כתובות במפורש.

שאלות
נפוצות

האם כדאי להוריד דווקא את הגרסה הזו לפרויקט חדש?

לא מומלץ להתחיל איתה. המפתחים עצמם מציינים בראש העמוד שהמודל מיושן ומפנים לגרסה 1.5, כך שעדיף לפנות ישר לגרסה המעודכנת.

האם הוא יעבוד על טקסטים בעברית?

המודל מוגדר רשמית לאנגלית בלבד. מודלים שמבוססים על Phi-3 לרוב מתקשים מאוד בעברית, ובמשימת חילוץ מדויקת זה צפוי להיכשל או להחזיר פלט משובש.

איך מריצים

כדי להריץ אותו אצלכם תצטרכו לפחות 16 גיגה זיכרון בכרטיס מסך עבור המשקלים המקוריים, שתופסים כרגע מעל 14 גיגה בפורמט float32. זה גודל שמחייב חומרה ייעודית אם רוצים זמני תגובה הגיוניים בייצור, אלא אם מבצעים קוונטיזציה לפורמטים קלים יותר.

אם יש לכם שרת מקומי עם מעבד גרפי מתאים ואתם מחויבים לפרטיות מלאה של המידע, שווה להרים אותו לבד. לעומת זאת, אם מדובר בעומס נמוך או בפרויקט צד, קריאה למודל גדול יותר דרך שירות ענן תחסוך את כאב הראש של תחזוקת השרת.

from transformers import pipeline

pipe = pipeline("text-generation", model="numind/NuExtract")
print(pipe("שלום"))

הרישיון

הרישיון הוא MIT, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה, כל עוד משאירים את הצהרת זכויות היוצרים המקורית בקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗