llama-2-7b-chat
רץ בדפדפןhuggingface-projectsרישיון לא דווח2023-07-19
ממשק צ'אט ישיר לבדיקת המודל מטא בגרסת שבעה מיליארד פרמטרים. הוא מיועד למי שרוצה להתנסות בשיחה קצרה בלי להתקין ספריות ובלי להוריד משקלים מקומית.
- —הורדות בחודש
- 484לייקים
מה זה
אתם מקלידים הודעת טקסט לתוך תיבת השיחה ומקבלים מענה שנוצר בהזרמה. הממשק חושף גם תיבה ייעודית של שש שורות להגדרת system prompt וכמה מחוונים לכוונון פרמטרים של היצירה, לצד דוגמאות מוכנות שאינן נשמרות במטמון.
מאחורי הקלעים רץ המודל meta-llama/Llama-2-7b-chat-hf ברמת דיוק של float16, בטעינה ישירה מספריית transformers באמצעות PyTorch. המנגנון משתמש ב־TextIteratorStreamer כדי לפלוט את המילים תוך כדי ריצה, כך שלא צריך לחכות שהתשובה כולה תסתיים כדי להתחיל לקרוא אותה.
מתאים ל
- בדיקת פרומפטים
מזינים הוראות שונות בתיבת ה־system prompt ובוחנים איך המודל מגיב לשינויי ניסוח.
- התנסות ראשונית במודל
מריצים שאלות קצרות ובודקים את מהירות התגובה על מעבד A10G בלי להגדיר שרת.
- כוונון פרמטרים של יצירה
משחקים עם המחוונים בממשק כדי לראות איך שינוי ערכים משפיע ישירות על אורך וסגנון הטקסט.
איפה זה נופל
הקוד זורק שגיאה מפורשת אם הטקסט שהזנתם מנצל את כל חלון ההקשר ולא משאיר מקום לטוקנים חדשים. המודל עצמו הוא הגרסה הקטנה בסדרה, עם שבעה מיליארד פרמטרים בלבד, ולכן הוא מועד להזיות במשימות מורכבות. הוא גם לא מקבל קבצים, תמונות או אודיו, אלא טקסט בלבד.
אותה משפחה
llama-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש עולה כסף או דורש הרשמה?
האפליקציה פתוחה בדפדפן להרצה מיידית ללא תשלום. כל עוד המרחב במצב פעיל, מקבלים גישה לחומרת zero-a10g שמריצה את המודל ישירות.
במה זה שונה מהורדת המודל למחשב?
כאן אין צורך בכרטיס מסך חזק, בסביבת פייתון או בהורדת עשרות גיגה-בייט של משקלים. מצד שני, הממשק מוגבל להגדרות שהוטמעו בו מראש ואי אפשר לשנות את הקוד שלו בזמן הריצה.
האם אפשר להעלות קובצי PDF או תמונות?
לא. הקוד תומך בקלט טקסטואלי בלבד דרך תיבת הצ'אט וה־system prompt, ואין בו רכיבי העלאת קבצים.
למה המערכת מחזירה שגיאה על חלון ההקשר?
הקוד מכיל בדיקה שמונעת יצירה אם אורך הקלט מגיע לקצה הקיבולת של המודל. במצב כזה לא נותר מקום לייצר מילים חדשות, ויש לקצר את השיחה או את ההנחיות.
איך משתמשים
נכנסים לדף, מקלידים פרומפט בשדה התחתון ולוחצים אנטר או שליחה. השרת מקצה מאיץ מסוג zero-a10g לפי דרישה, מה שאומר שהתגובה מזרימה טקסט בקצב מהיר, אבל בעומסים כבדים ייתכן שתחכו רגע להקצאת החומרה. הקוד בודק שהקלט לא ריק ומתריע מיד אם אין הודעה.
הרישיון
הרישיון של המרחב עצמו לא דווח, אך הממשק מציג הודעת רישיון של מטא. אם אתם מתכננים להשתמש בפלטים לצרכים מסחריים, צריך לבדוק ישירות את תנאי השימוש של משפחת Llama 2 מול דף המודל המקורי.