fastchat-t5-3b-v1.0

מה זה

מדובר בכיוונון של פלאן טי חמש בגרסת שלוש מיליארד פרמטרים על גבי שבעים אלף שיחות שנאספו ממאגר שר ג'י פי טי. בניגוד לרוב מודלי השיחה שמבוססים על מפענח בלבד, כאן יש ארכיטקטורת מקודד מפענח שמייצרת תשובות בצורה אוטורגרסיבית על בסיס ייצוג מלא של השאלה. הצוות אימן אותו במשך שלושה מחזורים כדי להתאים אותו לעבודה כצ'אטבוט מוכוון שיחה.

הבדיקה הראשונית שנעשתה עליו התבססה על שמונים שאלות מגוונות שנשפטו ישירות מול ג'י פי טי ארבע. המטרה הברורה מאחורי השחרור הזה הייתה לתת ליזמים ולחוקרים בסיס קוד פתוח עם היתר לשימוש מסחרי, מה שחסר בהרבה מודלים אחרים באותה תקופה.

מתאים ל

• בוט תמיכה קצר

  מענה זול ומהיר לשאלות נקודתיות שלא דורשות היסטוריית שיחה ארוכה.

• מוצר מסחרי מקומי

  שילוב צ'אט בתוך אפליקציה קיימת תחת רישיון פתוח וחומרה בסיסית.

• מחקר וניסויים

  בדיקת יכולות של ארכיטקטורת מקודד מפענח במשימות שיחה ממוקדות.

איפה זה נופל

המגבלה הכי קשה כאן היא חלון ההקשר שנמתח על פני חמש מאות ושנים עשר טוקנים בלבד. לשיחות ארוכות או קריאת מסמכים הוא פשוט לא מתאים, כי הוא שוכח את ההתחלה מהר מאוד. בנוסף, מודל של שלושה מיליארד פרמטרים מועד להזיות במשימות מורכבות, ועברית כלל לא נבדקה בהערכה המקורית שלו, שמדדה רק שמונים שאלות כלליות באנגלית.

איך מריצים

טוענים אותו ישירות דרך ספריית הטרנספורמרס בתצורת טי חמש הרגילה, ובגלל שהוא שוקל קצת מעל שישה גיגה בייט בדיוק חצי, כרטיס מסך בסיסי עם שמונה עד עשרה גיגה בייט של זיכרון יספיק לכם לגמרי. אין כאן דרישות חומרה כבדות או צורך בשרתים מורכבים.

אם אתם צריכים רק מענה מזדמן לפניות או בדיקת היתכנות מהירה, שירות ענן חיצוני כנראה יהיה פשוט יותר לתחזוקה. אבל אם אתם רוצים שליטה מלאה בעלויות ופרטיות מקומית בלי תלות ברשת, הגודל הזה רץ מצוין מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/fastchat-t5-3b-v1.0")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin6.7 GB
• spiece.model791.7 KB
• pytorch_model.bin.index.json50.8 KB
• tokenizer_config.json2.4 KB
• special_tokens_map.json2.2 KB
• README.md2.0 KB
• config.json1.5 KB
• .gitattributes1.5 KB
• added_tokens.json150 B
• generation_config.json142 B

הרישיון

הוא מופץ תחת רישיון אפאצ'י שתיים אפס, שזה היתר חופשי לחלוטין. אפשר להשתמש בו במוצרים מסחריים, לשנות אותו ולהפיץ הלאה בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗