Chat_with_Meta_llama3_8b

מה זה

האפליקציה מקבלת הודעות טקסט רגילות ומחזירה תשובות בזמן אמת, בתצורת צ'אט מוכרת עם היסטוריית שיחה. מתחת למכסה המנוע רץ המודל meta-llama/Meta-Llama-3-8B-Instruct של מטא, שנטען באמצעות ספריית transformers של Hugging Face. הטקסט מוזרם חזרה בעזרת TextIteratorStreamer, כך שהתשובה מופיעה בהדרגה בזמן שהיא נוצרת ולא בבת אחת.

יש בממשק אקורדיון הגדרות שמאפשר לשנות פרמטרים של יצירה באמצעות סליידרים, למשל אורך פלט שמתחיל מ־128 ומדדים נוספים שמשפיעים על אופי התשובות. כמו כן מופיעים בעמוד כפתור לשכפול הספייס לשימוש פרטי ודוגמאות מוכנות שאינן נשמרות במטמון, כדי להתחיל שיחה בלחיצה אחת ולראות איך המודל מגיב לפניות נפוצות.

מתאים ל

• בדיקת יכולות המודל

  התנסות מהירה בהבנת הוראות ותשובות של גרסת 8B של מטא בלי צורך להוריד משקלים למחשב.

• ניסוח ועריכת טקסטים

  הזנת פסקאות לשיפור ניסוח, תמצות או כתיבת טיוטות קצרות ישירות דרך חלון השיחה.

• שכפול סביבת צ'אט פרטית

  לחיצה על כפתור השכפול כדי להרים עותק אישי של היישום לשימוש מבודד יותר.

איפה זה נופל

זהו מודל של שמונה מיליארד פרמטרים בלבד, ולכן הוא מוגבל במשימות היגיון מורכבות או בידע עמוק מאוד ביחס לדגמים הגדולים יותר בסדרה. הממשק תומך בטקסט בלבד, בלי יכולת להעלות קבצים, מסמכים או תמונות. בנוסף, חומרת שיתוף ציבורית עלולה לעצור או להתנתק בזמני עומס, והדוגמאות אינן נשמרות במטמון כך שכל הפעלה מייצרת את הפלט מאפס.

איך משתמשים

נכנסים לדף ומתחילים להקליד שאלות בחלון הצ'אט, או לוחצים על אחת הדוגמאות המוכנות. היישום רץ על חומרת zero-a10g שמקצה כרטיס גרפי של אנבידיה לפי דרישה, ולכן התגובות מגיעות במהירות של שניות בודדות לכל פלט. אין צורך בהתחברות מיוחדת או בהזנת מפתח API אישי כדי לדבר עם המודל.

הרישיון

הקוד של היישום מופץ ברישיון mit חופשי לחלוטין. עם זאת, המודל עצמו הוא Meta-Llama-3-8B-Instruct וכפוף לתנאי השימוש והרישיון הספציפיים של מטא שמוצגים בתחתית העמוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗