webllm-playground

מה זה

אתם נכנסים לממשק, בוחרים מודל מתוך רשימת המודלים הנתמכים וכותבים הודעות טקסט בחלון צ'אט רגיל. בתגובה מקבלים טקסט שנוצר בזמן אמת, יחד עם נתונים טכניים על קצב היצירה שמציגים את מהירות העיבוד של השיחה.

הטכנולוגיה מאחורי הכלי מבוססת על הפרויקטים MLC-LLM ו־WebLLM Chat, שמשתמשים ביכולות הדפדפן כדי להריץ את המודלים ישירות על המעבד הגרפי המקומי של המחשב. חבילת ה־NPM הרשמית של הפרויקט מניעה את התהליך הזה בלי לשלוח את המידע לשרתים מרוחקים.

מתאים ל

• בדיקת מודלים בדפדפן

  הרצת צ'אט ישירות בדפדפן כדי לראות איך מודלי שפה פועלים על החומרה המקומית.

• מדידת ביצועי מהירות

  בחינת נתוני מהירות היצירה של מודלים שונים בעזרת מסך מדדי השיחה.

• ניסוי פרטי ללא שרת

  התנסות בשיחה עם מודלים בלי לחשוש משיתוף הטקסט ברשת או שמירתו אצל צד שלישי.

איפה זה נופל

אם אין לכם מחשב עם מעבד גרפי סביר או דפדפן שתומך בהאצת חומרה מתאימה, הממשק יזחל או לא ייטען בכלל. המודלים הנתמכים מוגבלים לגדלים שיכולים להיכנס לזיכרון של דפדפן ביתי, כך שלא תמצאו פה מודלי ענק עם יכולות הסקה מורכבות.

איך משתמשים

פותחים את הדף בדפדפן, ניגשים לבורר המודלים ובוחרים את המודל שרוצים להריץ. אין צורך לפתוח חשבון, אין כאן הרשמה ואין תור של משתמשים אחרים, כי הכל תלוי במחשב שלכם בלבד.

הזמן שלוקח לממשק להתחיל לעבוד תלוי כולו בהורדה הראשונית של משקלי המודל לזיכרון הדפדפן ובכוח של המעבד הגרפי שלכם. ברגע שהמודל יושב אצלכם בזיכרון, השיחה רצה מיד ומציגה מדדי ביצועים שמעידים על מהירות העבודה של החומרה הפרטית.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו ושילוב במוצרים מסחריים. הטקסט שאתם מזינים והתשובות שנוצרות נשארים בדפדפן שלכם ולא נשמרים בשרת חיצוני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗