blenderbot-400M-distill

מה זה

מטא בנתה את בלנדרבוט מתוך רעיון שצ'אטבוט טוב צריך לשלב כמה מיומנויות שיחה בו זמנית, כמו הקשבה, הצגת ידע, אמפתיה ואישיות שמתאימה לסיטואציה. המודל הנוכחי הוא גרסה מזוקקת, כלומר כיווצו מודל ענק לממדים קטנים בהרבה כדי שיהיה אפשר להריץ אותו בלי שרתים מנופחים. הוא מאומן נטו על שיחות פתוחות באנגלית במטרה להישמע אנושי ומעניין למשתמש.

בגודל הזה הוא שונה ממודלי שפה כלליים כי הוא מיועד כולו לדיאלוג ולא למשימות כמו חילוץ מידע או תכנות. המטרה שלו היא לנהל שיחה רב שלבית שמרגישה טבעית, בלי לנסות להיות אנציקלופדיה מהלכת או פותר בעיות מורכב.

מתאים ל

• דמויות רקע במשחקים

  יצירת שיחות קצרות וקלילות באנגלית עם דמויות שאינן דורשות זיכרון ארוך או ידע מורכב.

• תרגול אנגלית בסיסית

  צ'אטבוט מקומי שמגיב בסגנון אנושי לשיחות יומיומיות, בלי תלות ברשת ובלי עלויות שימוש.

• בדיקות ממשק שיחה

  הקמת סביבת פיתוח מקומית לבדיקת זרימת הודעות מול מודל אמיתי שלא צורך כמעט משאבים.

איפה זה נופל

חלון ההקשר עומד על 128 טוקנים בלבד. זה מעט מאוד, וזה אומר שהמודל שוכח מה נאמר לפני שניים או שלושה משפטים, בלי שום יכולת להחזיק שיחה עמוקה. בנוסף, הוא אומן רק על אנגלית, כך שאין מה לנסות להריץ עליו עברית. הוא מיועד לשיחה קלילה ולא להבנת עובדות, ולכן הוא נוטה להמציא דברים בביטחון מלא.

אותה משפחה

blenderbot יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.7 גיגה בייט, מה שאומר שכל מעבד גרפי פשוט ואפילו מעבד רגיל של מחשב נייד יריצו אותו בלי מאמץ מיוחד. הוא עובד ישירות דרך ספריית transformers עם המחלקה הייעודית שלו, כך שההטמעה בקוד פייתון קצרה מאוד.

אם אתם צריכים רק צ'אט בסיסי באנגלית שלא דורש חיבור לרשת, ההרצה המקומית פותרת את הבעיה בלי עלויות שרת שוטפות. לעומת זאת, אם אתם מחפשים היגיון מורכב או זיכרון לשיחות ארוכות, עדיף לפנות ל־API חיצוני של מודל מודרני במקום להשקיע זמן בתשתית סביבו.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/blenderbot-400M-distill")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 2.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h51.5 GB
• pytorch_model.bin729.8 MB
• flax_model.msgpack729.6 MB
• tokenizer.json309.6 KB
• vocab.json126.9 KB
• merges.txt62.9 KB
• config.json1.6 KB
• README.md1.5 KB
• tokenizer_config.json1.2 KB
• special_tokens_map.json772 B
• .gitattributes391 B
• generation_config.json347 B
• added_tokens.json16 B

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, לארח אותו או להפיץ אותו הלאה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗