Explore_llamav2_with_TGI

מה זה

מזינים טקסט בצ׳אט ומקבלים תשובות מהמודל Llama-2-70b-chat של מטא. הקוד בנוי להריץ שאילתות בשני מצבים שונים דרך לשוניות נפרדות, הזרמת תשובה בזמן אמת (Streaming) או קבלת התוכן במקשה אחת (Batch).

מתחת למכסה המנוע מוגדר חיבור לשרת TGI באמצעות AsyncInferenceClient, לצד ארבעה מחוונים שמאפשרים לקבוע פרמטרים שונים של הריצה ותיבה להזנת הנחיית מערכת (System prompt). בפועל, הקוד כולל הודעה מפורשת שהמרחב כבר אינו פעיל, שדות הקלט נוטרלו לחלוטין, ורשימת הדוגמאות הוסרה מהתצוגה הפעילה.

מתאים ל

• עיון בקוד הממשק

  אפשר לבדוק כיצד נבנה חיבור Gradio כפול להזרמה ואצווה מול מנוע TGI.

• שכפול והרצה עצמאית

  אפשר להעתיק את מבנה הבלוקים ולהגדיר נקודת קצה פעילה משלכם.

• הבנת ארכיטקטורת ממשק

  דוגמה לשימוש ברכיבי ChatInterface עם פרמטרי שליטה והנחיות מערכת.

איפה זה נופל

הבעיה המרכזית היא שהכלי פשוט לא עובד. מעבר לשגיאת הריצה, היוצר עצמו כתב בקוד שהמרחב כבר לא מתוחזק והפנה למקומות אחרים. אפילו אם הקוד היה נטען ללא שגיאה, ממשק המשתמש ננעל מראש כדי שלא ישלח בקשות חדשות למנוע.

איך משתמשים

אין אפשרות להפעיל את הממשק כרגע. כפתורי השליחה, הביטול והניקוי מוגדרים כלא פעילים, תיבות הטקסט חסומות להקלדה, והעמוד מדווח על תקלת ריצה (RUNTIME_ERROR). המערכת יושבת על חומרת מעבד משודרגת (cpu-upgrade), אבל בלי שרת פעיל שמחזיר תשובות אין לכך משמעות מעשית.

הרישיון

הקוד מפורסם תחת רישיון MIT, מה שמאפשר להעתיק, לשנות ולהריץ אותו באופן חופשי. לגבי המודל עצמו, meta-llama/Llama-2-70b-chat-hf כפוף במקור לרישיון השימוש של מטא. כיוון שהאפליקציה אינה פעילה, אין בה שמירה או עיבוד של תוכן חדש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗