blenderbot_small-90M

מה זה

פייסבוק שחררה את המודל כחלק ממחקר על שילוב מיומנויות שיחה כמו אמפתיה, ידע ואישיות בתוך צ'אטבוטים. מדובר בגרסה הקטנה ביותר בסדרה שכוללת גם מודלים של 2.7 ו־9.4 מיליארד פרמטרים, כאשר המטרה הייתה לבדוק איך ארכיטקטורה מצומצמת מתמודדת עם שיחה מרובת תורות. לפי המאמר המקורי, החוקרים שמו דגש על שילוב נכון של נתוני אימון ואסטרטגיות יצירת טקסט כדי להשיג תחושת אנושיות ועניין.

בניגוד למודלים כלליים של שפה שמנסים לפתור משימות כתיבה מגוונות, כאן הארכיטקטורה מיועדת מראש לפורמט של דיאלוג חופשי. עם שמונה שכבות בלבד, הוא מנסה לתפוס את הניואנסים של שיחה בלי הניפוח הרגיל של מודלי ענק מודרניים. זה אומר שמקבלים כלי קל מאוד להתקנה ולניסוי, שמכוון ישירות לאינטראקציה מול בן אדם ולא ליצירת קוד או ניתוח מסמכים טכניים.

מתאים ל

• בוט חולין במשחק מחשב

  מאפשר לייצר שיחות רקע קלילות באנגלית לדמויות ללא שחקן, מקומית על המחשב וללא עלויות רשת.

• בדיקות אוטומטיות לפייפליין

  משמש כמודל דמה מהיר וקל משקל לבדיקת תשתיות דיאלוג ושרתי בדיקות לפני פריסה של מודלי ענק.

• עוזר שיחה במכשירי קצה

  מתאים להרצה על חומרה חלשה ומבודדת מהאינטרנט שצריכה לתת מענה שיחתי קצר ובסיסי בלבד.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד, מה שאומר שהמודל שוכח מהר מאוד את מה שנאמר בתחילת השיחה ואינו מסוגל לנהל דיאלוגים ארוכים ועמוקים. המודל אומן על אנגלית בלבד, כך שעבור משתמש ישראלי שצריך עברית הוא פשוט לא רלוונטי ללא אימון נוסף. בנוסף, מודל קטן כל כך נוטה להמציא עובדות בקלות, לחזור על עצמו או לפלוט תשובות סתמיות כשמנסים לאתגר אותו מעבר לשיחת חולין בסיסית.

איך מריצים

המודל שוקל כ־1004 מגהבייט בסך הכול, כך שאין שום צורך במעבד גרפי ייעודי כדי להרים אותו. כל מעבד מודרני ממוצע במחשב נייד או שרת וירטואלי זול יריץ אותו בקלות דרך ספריית transformers הרגילה של פייתון. אם אתם בונים שירות שצריך לתת מענה לעשרות אלפי שיחות בו־זמנית, הזיכרון הנמוך שלו יאפשר לכם להריץ כמה עותקים במקביל בלי לחנוק את המכונה.

מצד שני, אם אתם מחפשים היגיון מורכב, שליפה של עובדות מדויקות או יכולת להתמודד עם שאלות מסובכות, שווה לעצור. עבור משימות כאלה עדיף לפנות למודלים גדולים בהרבה או להשתמש ב־API חיצוני, כי המרחק בינו לבין הגרסאות הכבדות בסדרה מורגש היטב באיכות התשובות.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/blenderbot_small-90M")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1004 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5350.4 MB
• pytorch_model.bin350.4 MB
• flax_model.msgpack350.3 MB
• vocab.json963.5 KB
• merges.txt344.6 KB
• config.json1.5 KB
• README.md1.5 KB
• .gitattributes391 B
• generation_config.json311 B
• tokenizer_config.json230 B
• special_tokens_map.json99 B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעות זכויות היוצרים וציון השינויים שביצעתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗