LLM-As-Chatbot
רץ בדפדפןchansungapache-2.02023-03-27
הדגמת דפדפן שמאפשרת לבחור מודל שפה פתוח ולהתכתב איתו בשיחה חיה. היא מיועדת למי שרוצה לבדוק התנהגות של מודלים מוקדמים ממשפחת אלפקה ולאמה בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 81לייקים
מה זה
הממשק מציג מסך בחירה בין כמה מודלים פתוחים של 7 מיליארד פרמטרים, כמו גרסאות של Alpaca LoRA, Baize ו־Guanaco, ומעביר אתכם לצ'אט ישיר מולם. אתם מקלידים שאלות או הנחיות טקסט, והמערכת מחזירה תשובות ישירות מתוך המודל שנבחר. אפשר גם להיעזר ברשימת דוגמאות מוכנות מקובץ חיצוני שמובנה בקוד.
מתחת למכסה המנוע רצים מודלים שנטענים דרך transformers של Hugging Face, חלקם מבוססי משקלי בסיס של LLaMA 7B עם שכבות LoRA שונות כמו Alpacoom או Alpaca-LoRA. הממשק מציג כרטיס מידע טכני לכל מודל עם הפרמטרים שלו, דרישות הזיכרון הגרפי המומלצות והפניות למשקלים המקוריים.
מתאים ל
- השוואת כוונוני LoRA
בדיקת ההבדלים בתשובות בין גרסאות שונות של LLaMA 7B שאומנו בשיטת LoRA על דאטהסטים שונים.
- בדיקת ביצועים באנגלית
הרצת שאלות ובקשות קצרות באנגלית מול מודלים מוקדמים של קוד פתוח לצורך מחקר.
- למידת ממשקי שיחה
בחינת האופן שבו ממשק gradio מנהל בחירה בין מודלים מרובים וטעינה שלהם לזיכרון.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה מדווחת על שגיאת ריצה ולא פועלת ברשת. מעבר לזה, מדובר במודלים משנת 2023 עם שבעה מיליארד פרמטרים, שלא מתקרבים ביכולות שלהם למודלים מודרניים. הם מוגבלים מאוד בהבנת עברית, נוטים להזיות בקלות ומתקשים במשימות מורכבות.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה עכשיו בחינם?
הגישה דרך הדפדפן היא בחינם, אך כרגע האפליקציה במצב תקלה ולא מגיבה. היא מאוחסנת על חומרת A10 של Hugging Face, ועד שלא יתקנו אותה לא ניתן להריץ בה פרומפטים.
האם אפשר להריץ את המערכת מקומית במחשב שלי?
כן, הקוד זמין בגיטהאב תחת פרויקט LLM-As-Chatbot. תצטרכו כרטיס מסך עם זיכרון וידאו שמספיק להרצת מודלי 7B כדי להעלות את הממשק מקומית.
איך המודלים האלה מתמודדים עם שפה עברית?
המודלים האלה מתבססים על LLaMA מהדור הראשון ולא עברו התאמה ייעודית לעברית. הם מייצרים טקסט משובש או מסרבים לענות בעברית, ולכן הבדיקה בהם רלוונטית כמעט רק לאנגלית.
האם המידע והשיחות שלי נשמרים?
הממשק נעזר באחסון המקומי של הדפדפן כדי לשמור מצבים מסוימים, והוא טוען מודלים שהורדו מראש לשרת. עם זאת, אין כאן מנגנון של חשבון משתמש או התחברות אישית.
איך משתמשים
לוחצים על כפתור המודל הרצוי במסך הראשי, עוברים למסך אישור שמציג את פרטי המודל, ונכנסים למצב שיחה שבו אפשר להתאים פרמטרים של יצירת טקסט. הכל מוגדר לרוץ על מעבד גרפי A10 בודד, אבל כרגע האפליקציה נמצאת במצב של שגיאת ריצה, כך שהיא לא תגיב בפועל עד שבעל הפרויקט יתקן אותה. אם תרצו להריץ אותה בעצמכם, הקוד פתוח בגיטהאב.
הרישיון
הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. עם זאת, המודלים עצמם נשענים על משקלי LLaMA וגרסאות כוונון מוקדמות, ולכן כל שימוש מסחרי בתוצרים כפוף למגבלות המשקלים המקוריים שלהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים