llama2-with-gradio-chat

מה זה

המסך מציג חלון צ'אט שמקבל שאלות טקסט ומחזיר תשובות בזרימה רציפה. בצד יש תפריט שמחזיק היסטוריית שיחות לפי ערוצים, כפתור לניקוי השיחה, ואפשרות להפקת תשובה מחדש. בנוסף תמצאו שם כפתורי דוגמה מוכנים מראש, לשוניות של תבניות פרומפטים עם שדות למילוי, ואפילו אזור לבדיקת ההקשר שנשלח למודל בכל שלב.

מאחורי הקלעים רץ המודל meta-llama/Llama-2-70b-chat-hf דרך ממשק ה־Inference של Hugging Face ולא על השרת המקומי של הדף. הקוד כולל שילוב מעניין של רכיב חיפוש בעזרת חבילת pingpong, שמאפשר להזין מפתח לחיפוש באינטרנט דרך serper ולשלב מידע מעודכן בתשובות.

מתאים ל

• בדיקת שיחה עם מודל גדול

  ניסוי מהיר של תשובות ויכולות ניסוח מול גרסת שבעים מיליארד הפרמטרים של Llama 2.

• שיחה מבוססת חיפוש ברשת

  שילוב תוצאות רשת בעזרת מפתח חיצוני כדי לענות על שאלות עם מידע עדכני.

• התנסות בתבניות פרומפטים

  בדיקת מבנה קלט מוכן מראש עם שדות משתנים ישירות בתוך ממשק המשתמש.

איפה זה נופל

הבעיה המיידית היא שהדף פשוט לא עובד ונמצא בשגיאה. מעבר לזה, כדי לנצל את החיפוש ברשת צריך מפתח חיצוני של serper_api_key. המודל עצמו הושק באוגוסט 2023, כך שהידע המובנה שלו מוגבל לתקופה הזו ואינו כולל נתונים חדשים בלי אותו חיפוש רשת.

איך משתמשים

בפועל אתם לא תוכלו להריץ אותה כרגע כי המצב שלה מוגדר כתקלת הרצה. אם המפתח יתקן אותה, מקלידים שאלה בתיבת הטקסט או בוחרים דוגמה, וממתינים לתשובה. החומרה שמוקצית לדף היא t4-small צנועה, אבל מכיוון שהקוד פונה ל־API חיצוני ולא מריץ את שבעים מיליארד הפרמטרים על השרת עצמו, המהירות תלויה בעומס על הממשק החיצוני ולא במעבד המקומי.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. המודל עצמו כפוף לתנאי השימוש של Llama 2 מבית מטא.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗