GPT
הוספת כלי
T

teapotllm

קוד פתוח

teapotaimit2025-01-19

  • transformers
  • onnx
  • safetensors
  • t5
  • text2text-generation

מודל שפה קומפקטי שמכוון למענה מבוסס הקשר בלבד. הוא מסרב לענות כשאין מידע מתאים, מה שמצמצם הזיות כמעט לאפס.

  • 783Mפרמטרים
  • 512טוקנים בהקשר
  • 171 GBמשקל הקבצים
  • 312הורדות בחודש

מה זה

מדובר במודל שמבוסס על flan-t5-large עם כמעט 800 מיליון פרמטרים, שעבר אימון ייעודי על נתונים סינתטיים שיוצרו באמצעות DeepSeek-V3. במקום לנסות לדעת הכל על העולם, המטרה כאן ממוקדת לגמרי: לקבל טקסט קצר, לענות על שאלה ישירה מתוכו או לחלץ נתונים במבנה מוגדר מראש. ההבדל בינו לבין מודלים אחרים במשקל קל הוא המשמעת שלו להקשר. אם התשובה לשאלה לא מופיעה בטקסט ששלחתם, הוא אומר במפורש שאין לו את המידע, במקום להמציא עובדות שנשמעות משכנעות.

המפתחים בחנו אותו על מאגר ייעודי למשימות כאלה מול מודלים אחרים בסדרי גודל דומים, על גבי מעבדים סטנדרטיים. התוצאות מראות דיוק גבוה יותר בחילוץ נתונים ופחות תשובות שגויות, בעיקר בגלל שהוא אומן לסרב לפניות חסרות בסיס. בנוסף לשאלות ותשובות, הוא הותאם לפלוט ישירות מספרים, מחרוזות ומבני JSON לפי סכמות מוגדרות, כך שהוא מתאים לצינורות עיבוד שדורשים פלט קשיח ולא שיחה מתפזרת.

מתאים ל

  • חילוץ JSON מטקסטים קצרים

    הוא אומן להחזיר מבנים מוגדרים מראש כמו Pydantic בלי סטיות מיותרות.

  • מענה על שאלות ב־RAG מקומי

    הוא מסרב לענות כשפסקה לא מכילה את התשובה, מה שמונע הזיות במאגר.

  • עיבוד פניות בתוך הדפדפן

    התמיכה ב־Transformers.js מאפשרת הרצת שאילתות קטנות בצד הלקוח ללא שרת.

איפה זה נופל

חלון ההקשר עומד על 512 טוקנים בלבד. אי אפשר לדחוף אליו מסמכים ארוכים, קבצי PDF שלמים או היסטוריית שיחה מורכבת. הוא לא מתאים לכתיבת קוד, ליצירת טקסט חופשי או למערכות קריטיות. בנוסף, למרות שהבסיס תומך במספר שפות, המודל אומן ונבדק באנגלית בלבד. בעברית הוא כנראה ייכשל לחלוטין ולא יצליח לחלץ מידע או לסרב נכון.

שאלות
נפוצות

האם אפשר להשתמש בו לקריאת מסמכים ארוכים?

לא. חלון ההקשר שלו מוגבל ל־512 טוקנים, שזה בערך פסקה או שתיים באנגלית. כדי לעבוד עם מסמכים ארוכים תצטרכו לפרק אותם מראש בעזרת מערכת חיפוש שתביא רק את הקטע הספציפי.

איך הביצועים שלו בעברית?

המודל נבדק ואומן באנגלית בלבד על גבי סט נתונים סינתטי ייעודי. לא מומלץ להשתמש בו לעברית כי יכולת חילוץ המידע ומניעת ההזיות שלו לא נבחנו בשפה זו.

איך מריצים

אפשר להריץ אותו דרך ספריית teapotai בפייתון, ישירות עם transformers במשימת text2text-generation, או אפילו בסביבת דפדפן וג'אווהסקריפט באמצעות Transformers.js. מודל של 800 מיליון פרמטרים רץ בקלות על מעבד רגיל של שרת או מחשב אישי בלי צורך בכרטיס מסך ייעודי.

עם זאת, שימו לב שמשקל הקבצים במאגר עומד על 171 גיגה בגלל שמירת משקלים בפורמט float32 וריבוי קבצים, מה שמקשה מאוד על פריסה מקומית פשוטה. אם אין לכם סבלנות לנהל אחסון כבד וטעינה מסורבלת, עדיף להשתמש בפתרון ענן מנוהל או להמיר את המשקלים לדיוק נמוך יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="teapotai/teapotllm")
print(pipe("שלום"))

הקבצים

333 קבצים במאגר, 171 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT פתוח ומתירני. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו מחדש ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗