tinyllama-chat
רץ בדפדפןTinyLlamaרישיון לא דווח2024-01-08
הדגמת שיחה פשוטה שמריצה מודל שפה קטן במיוחד ישירות בדפדפן. הממשק פונה למי שרוצה לבדוק תשובות של מודל קל משקל בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 103לייקים
מה זה
הממשק מציג צ'אט בסיסי שבו אתם מקלידים שאלה בתיבת הטקסט ומקבלים מענה שנוצר במקום. מתחת למכסה המנוע רץ המודל TinyLlama-1.1B-Chat-v1.0, מודל קל יחסית שנטען ישירות דרך ספריית transformers של פייתון עם שימוש בהזרמת טקסט בזמן אמת.
בדף ההדגמה יש שתי שאלות מובנות שממחישות את השימוש. אחת שואלת איך לבשל דג, והשנייה שואלת מי הנשיא הנוכחי של ארצות הברית. השאלות האלו מראות שהמטרה כאן היא לבדוק ידע כללי ומענה יומיומי פשוט מול מודל של מיליארד פרמטרים בלבד.
מתאים ל
- בדיקת יכולות המודל
הקלדת שאלות קצרות כדי לראות איך מודל קטן מתמודד עם ניסוח תשובות.
- התנסות בהזרמת טקסט
בחינת האופן שבו ממשק שיחה מציג מילים שנוצרות בזמן אמת.
- בדיקת שאלות ידע פשוטות
שימוש בדוגמאות מובנות לבחינת המענה של מודלים קלים.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה כרגע ולא מגיבה בגלל שגיאת הרצה בקוד או בטעינת השרת. מעבר לזה, מודל של 1.1 מיליארד פרמטרים מוגבל מאוד ביכולת ההבנה, ההסקה והדיוק שלו. לא כדאי להסתמך עליו למשימות מורכבות, ובוודאי שלא לתשובות עובדתיות רגישות שדורשות אימות.
שאלות
נפוצות
האם הממשק פועל כרגע?
לא. העמוד מדווח על שגיאת ריצה, כך שהשרת לא מעבד פניות כרגע.
האם צריך לשלם או להירשם?
לא. הממשק פתוח לגישה ישירה בדפדפן בלי דרישת תשלום או חשבון.
האם אפשר להריץ את המודל הזה במחשב האישי?
כן. הקוד טוען את המודל דרך ספריות פייתון פתוחות, ומשום שהוא קטן אפשר להריץ אותו מקומית.
איך משתמשים
לוחצים על אחת הדוגמאות המוכנות או מקלידים שאלה בשדה הקלט ושולחים. כרגע ההדגמה במצב שגיאת ריצה, ולכן לא תקבלו מענה עד שמי שמתחזק אותה יתקן את הבעיה בשרת. כשהיא עובדת, היא מוגדרת לרוץ על מעבד בסיסי בלי כרטיס גרפי, מה שאומר שמהירות הפקת המילים צפויה להיות אטית יחסית למודלים שמקבלים האצת חומרה.
הרישיון
הרישיון לא דווח בעמוד ההדגמה. כשאין הגדרה ברורה של תנאי השימוש, לא מומלץ להעלות מידע רגיש או לבנות על התוצרים לפרויקטים מסחריים.