flan-t5-large-grammar-synthesis

מה זה

מדובר בגרסה מכווננת של גוגל פלאן טי חמש לארג', שעברה אימון על גרסה מורחבת של מאגר ג'יי פלאג. המטרה המרכזית שלו היא לקבל טקסט באנגלית עמוס בשגיאות קשות, לתקן אותן במעבר אחד, ולא לגעת בחלקים שכבר כתובים נכון. מודלים אחרים נוטים לשכתב משפטים שלמים או להמציא ניסוחים חדשים, אבל כאן המיקוד הוא רק יישור קו דקדוקי.

המודל מיועד לעבוד על מקטעים קצרים יחסית, סביב שניים עד שלושה משפטים בכל פעם. הוא מנסה לתקן שגיאות כבדות בלי לפגוע בהקשר הסמנטי, מה שהופך אותו לשימושי במיוחד כשלב ביניים בצינור עיבוד נתונים שמקבל טקסטים שבורים ממקורות חיצוניים.

מתאים ל

• תיקון תמלול קולי

  ניקוי שגיאות דקדוק קשות מפלט של מודלי שמע לטקסט, שנוטים לפספס מבנים תחביריים.

• ליטוש פלט של צ'אטבוטים

  הסרת ניסוחים עילגים ומשפטים שבורים ממודלי שפה אחרים לפני שהטקסט מגיע למשתמש.

• השלמת פענוח סריקות

  תיקון טעויות תחביר שנוצרות בזיהוי תווים אופטי של כתב יד או מסמכים ישנים.

איפה זה נופל

המודל מוגדר במפורש כעבודה בתהליך, והיוצר מזהיר שחובה לבדוק את הפלטים בעיניים ולא להסתמך עליהם בעיניים עצומות. חלון ההקשר מוגבל לחמש מאות ושנים עשר טוקנים בלבד, כך שהוא לא מסוגל לבלוע פסקאות ארוכות ברצף. בנוסף, הוא מתקשה עם מונחים מקצועיים מעולמות תוכן ספציפיים ועלול לפספס ביטויים טכניים משובשים.

איך מריצים

טוענים אותו ישירות דרך פייפליין טקסט טו טקסט בספריית טרנספורמרס, או דרך ספריית אופטימום עם אוננקס כדי לחסוך זמן ריצה. עם כמעט שמונה מאות מיליון פרמטרים בדיוק של שלושים ושתיים ביט, המשקל הכולל מגיע לתשעה נקודה ארבע ג'יגה בייט. בשביל להריץ אותו בנוחות תצטרכו כרטיס מסך עם לפחות שנים עשר עד שישה עשר ג'יגה בייט זיכרון, או לחלופין מעבד חזק עם אופטימיזציות של אוננקס.

המפתח ממליץ לחתוך טקסטים ארוכים לקבוצות של שישים וארבע עד תשעים ושש טוקנים. אם יש לכם נפח עצום של בדיקות פשוטות, כדאי לשים לפניו מסווג קל שיבדוק קודם אם המשפט בכלל דורש תיקון, או פשוט לפנות לשירות מנוהל כשאין לכם שרת ייעודי פנוי.

ollama run hf.co/pszemraj/flan-t5-large-grammar-synthesis:Q6_K

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

447 קבצים במאגר, 9.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin3.1 GB
• model.safetensors3.1 GB
• ggml-model-Q6_K.gguf643.9 MB
• onnx/onnx__MatMul_8334131.6 MB
• onnx/shared.weight131.6 MB
• onnx/onnx__MatMul_712011.5 MB
• onnx/onnx__MatMul_712111.5 MB
• onnx/onnx__MatMul_712211.5 MB
• onnx/onnx__MatMul_713811.5 MB
• onnx/onnx__MatMul_713911.5 MB
• onnx/onnx__MatMul_714011.5 MB
• onnx/onnx__MatMul_715611.5 MB
• onnx/onnx__MatMul_715711.5 MB
• onnx/onnx__MatMul_715811.5 MB
• onnx/onnx__MatMul_717411.5 MB
• onnx/onnx__MatMul_717511.5 MB
• onnx/onnx__MatMul_717611.5 MB
• onnx/onnx__MatMul_719211.5 MB
• onnx/onnx__MatMul_719311.5 MB
• onnx/onnx__MatMul_719411.5 MB
• onnx/onnx__MatMul_721011.5 MB
• onnx/onnx__MatMul_721111.5 MB
• onnx/onnx__MatMul_721211.5 MB
• onnx/onnx__MatMul_722811.5 MB
• onnx/onnx__MatMul_722911.5 MB
• onnx/onnx__MatMul_723011.5 MB
• onnx/onnx__MatMul_724611.5 MB
• onnx/onnx__MatMul_724711.5 MB
• onnx/onnx__MatMul_724811.5 MB
• onnx/onnx__MatMul_726411.5 MB
• onnx/onnx__MatMul_726511.5 MB
• onnx/onnx__MatMul_726611.5 MB
• onnx/onnx__MatMul_728211.5 MB
• onnx/onnx__MatMul_728311.5 MB
• onnx/onnx__MatMul_728411.5 MB
• onnx/onnx__MatMul_730011.5 MB
• onnx/onnx__MatMul_730111.5 MB
• onnx/onnx__MatMul_730211.5 MB
• onnx/onnx__MatMul_731811.5 MB
• onnx/onnx__MatMul_731911.5 MB

הרישיון

הקוד והמודל עצמו מסומנים תחת אפאצ'י שתיים אפס, אבל הדאטה עליו אומן כפוף לרישיון קריאייטיב קומונס לא מסחרי עם שיתוף זהה. המשמעות ברורה. אסור להשתמש במודל הזה למוצרים מסחריים מניבי רווח, וכל שימוש נגזר מחייב את אותם תנאי רישיון פתוחים.

הרישיון המלא בעמוד המודל ↗