mlc-ai/webllm-playground

מה זה

אתם נכנסים דרך הדפדפן ומקבלים ממשק צ'אט שמתקשר ישירות עם החומרה של המחשב שלכם. המערך כולו בנוי כדף סטטי שנשען על הפרויקטים WebLLM, MLC-LLM ו־WebLLM Chat, ומסתמך על חבילת ה־NPM הרשמית של mlc-ai. במקום לשלוח פרומפטים לענן, הדפדפן מוריד את משקלי המודל ומבצע את החישובים אצלכם.

הקלט הוא טקסט רגיל שכותבים בחלון השיחה, והפלט הוא תשובות שמיוצרות בזמן אמת על גבי המאיץ הגרפי שלכם. מאחורי הקלעים עומדת הטכנולוגיה של MLC שמתאימה מודלי שפה לריצה מהירה דרך תקני רשת מודרניים. לא פורסמו בדף דוגמאות מובנות מראש או רשימת מודלים ספציפית בטקסט, כך שרואים את היכולת רק כשמתחילים להקליד ישירות פנימה.

מתאים ל

• בדיקת ביצועי WebGPU

  הרצת מודל שפה מקומי כדי לראות איך החומרה והדפדפן שלכם מתמודדים עם העומס.

• עבודה בלי אינטרנט רציף

  שיחה עם מודל שפה גם כשהרשת מתנתקת, ברגע שקבצי המשקלים כבר שמורים במטמון.

• התנסות בספריית WebLLM

  הבנת היכולות של חבילת ה־NPM של mlc-ai לפני שמטמיעים אותה בפרויקט עצמאי.

איפה זה נופל

אם אין לכם מחשב עם מאיץ גרפי סביר או דפדפן עם תמיכה מלאה ב־WebGPU, הדף פשוט יזחל או יסרב לרוץ. הדף לא כולל שרת גיבוי, כך שאי אפשר להפיל את עומס החישוב על מחשב מרוחק. מעבר לזה, התיעוד לא מפרט אילו מודלים מותקנים שם בפועל, מה גודל ההורדה שתידרש מכם בחיבור לרשת, או אם קיימת תמיכה ראויה בעברית.

איך משתמשים

אין צורך בהרשמה, פתיחת חשבון או תשלום. פשוט פותחים את הקישור בדפדפן תומך ומקלידים הודעה בחלון הצ'אט. מאחר שמדובר בדף סטטי, אין פה תור של שרת מרוחק או מגבלת בקשות חיצונית. עם זאת, בפעם הראשונה שתפעילו אותו תצטרכו להמתין להורדת קובצי המודל למטמון של הדפדפן, תהליך שלוקח זמן שתלוי כולו ברוחב הפס שלכם. מהירות הפקת התשובות בפועל תלויה במעבד הגרפי המקומי שמותקן במכשיר.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בקוד. החישוב מתבצע ישירות בדפדפן, כך שהטקסטים שאתם מזינים והתשובות שמתקבלות נשארים במכשיר המקומי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗