chansung/LLaMA-7B
רץ בדפדפןchansungapache-2.02023-03-03
ממשק שיחה שמריץ את מודל השפה LLaMA 7B ישירות בדפדפן. מתאים למי שרוצה לבדוק טקסטואלית את הגרסה הקלה יחסית של המודל בלי להתקין סביבת פיתוח מקומית.
- —הורדות בחודש
- 41לייקים
מה זה
כותבים פרומפט בתיבת הטקסט ומקבלים תגובה ישירות ברכיב הצ'אט של גרדיו. הממשק נשען על קוד שטוען את המודל המקורי באמצעות פונקציות מקומיות בתיקיית הפרויקט, ומאפשר לקבוע אם הפלט יכלול מחדש את שאלת המקור שלכם או יחתוך מילים שנקטעו בסוף התשובה.
מתחת למכסה המנוע נמצא מודל LLaMA בגרסת שבעה מיליארד פרמטרים. יש בממשק דוגמאות מוכנות מראש לפרומפטים שנועדו להמחיש את יכולות היצירה, ולצידן הגדרות ידניות לשליטה באקראיות הטקסט כמו טמפרטורה, דגימת גרעין ומגבלת אורך יצירה שנעה בין עשרים לחמש מאות ושתיים עשרה מילים.
מתאים ל
- ניסוי מהיר בפרומפטים
שליחת שאלות באנגלית כדי לראות איך מודל שבעה מיליארד פרמטרים מתנסח.
- בדיקת פרמטרים של טקסט
משחק עם ערכי טמפרטורה ודגימת גרעין כדי להבין את השפעתם על הפלט.
- בחינת יכולות קטיעה
בדיקת התנהגות המודל בהגבלות אורך קצרות וסינון מילים חלקיות בסיום.
איפה זה נופל
הבעיה המיידית היא סטטוס התקלה שמונע שימוש שוטף בדפדפן. בנוסף, חומרת מעבד פשוטה לא סוחבת מודל של שבעה מיליארד פרמטרים בצורה סבירה ומייצרת זמני המתנה ארוכים לכל משפט. המודל הבסיסי הזה מוגבל עד חמש מאות ושתיים עשרה יחידות טקסט לפלט, כך שלא תקבלו כאן תשובות מעמיקות, ויכולת הדיוק בעברית חלשה מאוד.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
הכניסה והשימוש בעמוד חופשיים לגמרי ולא דורשים תשלום. אין צורך להזין אמצעי אשראי או לקנות קרדיטים. עם זאת, בגלל מגבלות השרת התשתית עלולה להיות מושבתת לסירוגין.
מה קורה עם הטקסט שמקלידים בחלון?
הנתונים שאתם מקלידים מעובדים על שרתי הענן הציבוריים של האפליקציה. אין כאן התחייבות לסודיות עסקית או אבטחת מידע מיוחדת. לא מומלץ להדביק שם סיסמאות או מידע פרטי רגיש.
אפשר להריץ את היישום על המחשב האישי?
כן, הקוד מבוסס על סקריפטים של פייתון וזמין תחת רישיון פתוח. תצטרכו להוריד את הקבצים ולהתקין את הספריות הנדרשות כמו פייטורץ' וגרדיו. מעבר לכך תידרש חומרה מקומית חזקה שמסוגלת להחזיק מודל כזה.
במה הממשק הזה שונה משימוש ישיר במודל?
הממשק מוסיף עטיפה גרפית פשוטה שמאפשרת לדבר עם המודל כמו בצ'אט. במקום לכתוב קוד לפענוח ולשליטה בטמפרטורה, מזיזים סליידרים במסך. התוכן עצמו והתשובות מגיעים ישירות מאותו מודל מקור.
איך משתמשים
מקלידים את הטקסט בתיבה, בוחרים אם לשנות ערכי סליידרים בהגדרות ומשגרים את ההודעה. המערכת מוגדרת על חומרת מעבד בסיסית, מה שמוביל בפועל לקצב תגובה איטי מאוד בהשוואה לשרתים עם מאיצים גרפיים. כרגע מדווח סטטוס שגיאת ריצה, כך שסביר להניח שהחלון יציג תקלה עוד לפני שתספיקו לשלוח שאילתה.
הרישיון
הקוד מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ובדיקה של הקבצים. הטקסט שאתם מזינים נשלח לשרתי הציבור של הממשק וחשוף לתנאי השימוש הרגילים שם, ללא מנגנון פרטיות ייעודי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים