llama-2-13b-chat
רץ בדפדפןhuggingface-projectsother2023-07-19
ממשק צ'אט פשוט שמאפשר לדבר ישירות עם מודל השיחה של מטא בגודל 13 מיליארד פרמטרים. הוא מיועד למי שרוצה לבדוק את התנהגות המודל בדפדפן בלי להוריד משקלים למחשב.
- —הורדות בחודש
- 493לייקים
מה זה
מקלידים טקסט בחלון השיחה ומקבלים תשובה שנוצרת במקום, מילה אחרי מילה בזרימה רציפה. הממשק כולל שדה עבור System prompt שבו אפשר להגדיר למודל תפקיד או הנחיות התנהגות מראש, לצד סליידרים שונים לכיוונון פרמטרי היצירה כמו טמפרטורה והגדרות דגימה.
מאחורי הקלעים רץ המודל Llama-2-13b-chat-hf של מטא בדיוק של חצי דיוק (float16) באמצעות ספריית transformers. הקוד משתמש במנגנון חלוקת משאבים וטוען את המודל ישירות למאיץ הגרפי, תוך בדיקה שהקלט שלכם לא חורג מגודל חלון ההקשר המלא של המודל.
מתאים ל
- ניסוי בהנחיות מערכת
בדיקה איך המודל מגיב לשינויי System prompt שונים ואיך ההנחיות משפיעות על אופי השיחה.
- בדיקת פרמטרי דגימה
משחק עם הסליידרים בממשק כדי לראות מתי התשובות הופכות ליצירתיות או מקובעות מדי.
- השוואת ביצועים באנגלית
הרצת שאלות ומשימות ניסוח באנגלית כדי להעריך את יכולות הדור השני של המודל מול חלופות.
איפה זה נופל
אם הטקסט שתזינו ימלא את כל חלון ההקשר, הקוד יזרוק שגיאה מפורשת ולא ייצר שום פלט כי לא יישאר מקום לטוקנים חדשים. המודל שייך לדור הקודם ולא יודע לקבל קבצים, תמונות או קישורים חיצוניים, אלא רק טקסט נקי. בנוסף, מי שבונה על עברית טובה יגלה מהר מאוד שהאימון המקורי של גרסה 2 התמקד בעיקר באנגלית.
אותה משפחה
llama-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש בממשק הזה עולה כסף?
לא, הגישה להדגמה הזו פתוחה בדפדפן ללא תשלום. כל עוד השרת זמין ומקצה את החומרה, אפשר לשוחח עם המודל בחופשיות. אין צורך להזין אמצעי תשלום כדי להתחיל.
האם אפשר להריץ את אותו הדבר על המחשב האישי?
כן, הקוד משתמש בספריית transformers הסטנדרטית ובמשקלים הפתוחים של מטא. תצטרכו מחשב עם כרטיס מסך חזק שמסוגל להחזיק מודל של 13 מיליארד פרמטרים בזיכרון. הדמו פשוט חוסך את ההתקנה והחומרה הזו.
כמה זמן לוקח לקבל תשובה?
התשובה מגיעה כמעט מיד ומוזרמת בזמן אמת באמצעות רכיב מיוחד שמייצר מילים ברצף. אם השרת היה כבוי, תידרש המתנה של מספר שניות להקצאת כרטיס המסך A10G. לאחר מכן השיחה זורמת בלי השהיות כבדות.
במה הממשק הזה שונה משימוש ישיר במודל?
הוא מציג מעטפת מוכנה של gradio שכוללת שדות מוכנים להנחיית מערכת וסליידרים לפרמטרים. במקום לכתוב סקריפט פייתון שמטפל בטוקניזציה וזרימת טקסט, מקבלים צ'אט שעובד מיד. מצד שני, מוגבלים לממשק הקיים ולא ניתן לחבר אותו למאגרי מידע חיצוניים.
איך משתמשים
נכנסים לעמוד, כותבים הודעה בשדה הטקסט ולוחצים אנטר. הקוד רץ על חומרת zero-a10g שמקצה כרטיס מסך מסוג A10G לפי דרישה, כך שייתכן עיכוב קל בהודעה הראשונה בזמן שהשרת מתעורר, אך התשובות עצמן מוזרמות בקצב מהיר בזכות התשתית הגרפית. אין כאן תהליך הרשמה מיוחד מעבר לגישה רגילה לעמוד.
הרישיון
הרישיון מוגדר כ־other ומפנה למגבלות הרישיון המקוריות של מטא עבור משפחת Llama 2. מומלץ לקרוא את תנאי השימוש של מטא לפני שמשלבים את התוצרים במערכות מסחריות, והשימוש כפוף גם לתנאי האחסון של האתר עצמו.