llama-3.2-webgpu

מה זה

מדובר ביישום צ'אט פשוט שנבנה בעזרת React ו־Vite, ומבוסס על Transformers.js. במקום לשלוח בקשות לשרת מרוחק, הדפדפן שלכם מוריד את המודל ומבצע את כל החישובים בעצמו. אתם מקלידים הודעות טקסט בחלון השיחה ומקבלים מענה טקסטואלי ישיר מהמודל.

מאחורי הקלעים רץ המודל Llama-3.2-1B-Instruct בגרסת ONNX, שפותחה במיוחד להרצה קלה ומהירה. העיבוד מתבצע על גבי החומרה שלכם באמצעות תקן WebGPU, שמנצל את כרטיס המסך המקומי של המחשב כדי לייצר טקסט בלי תלות בחיבור רשת רציף.

מתאים ל

• התנסות ב־WebGPU מקומי

  בדיקת היכולת של כרטיס המסך שלכם להריץ מודלי שפה בתוך הדפדפן בלי צורך בהתקנת פייתון.

• פיתוח אפליקציות צ'אט פרטיות

  שימוש בקוד כבסיס לפרויקט React שדורש עיבוד טקסט בלי להוציא נתונים לענן.

• צ'אט בסיסי ללא רשת

  מענה על שאלות וניסוח טקסטים קצרים ישירות במחשב לאחר הטעינה הראשונית.

איפה זה נופל

העמוד נמצא במצב של שגיאת תצורה, כך שאי אפשר להפעיל אותו ישירות דרך האתר כרגע. כדי לראות אותו עובד צריך לשכפל את הקוד ממאגר ה־GitHub, להתקין תלויות ב־npm ולהרים שרת מקומי. בנוסף, המודל הוא בנפח של מיליארד פרמטרים בלבד, כך שלא תקבלו עומק או דיוק של מודלים ענקיים, ועברית כנראה תהיה מוגבלת מאוד.

איך משתמשים

אין צורך בהרשמה ואין תור, אבל צריך דפדפן שתומך ב־WebGPU וכרטיס מסך מתאים. בפעם הראשונה שתפתחו את הממשק, הדפדפן יצטרך להוריד את קובצי המודל למחשב, מה שייקח זמן בהתאם למהירות הרשת שלכם. לאחר שההורדה מסתיימת והמודל נטען לזיכרון, פשוט מקלידים בחלון השיחה ומקבלים תשובות. המהירות שבה הטקסט ייכתב תלויה לחלוטין בעוצמת המעבד הגרפי שלכם.

הרישיון

הפרויקט מופץ ברישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי בקוד. הטקסט שאתם מקלידים והתשובות שנוצרות נשארים לחלוטין במכשיר שלכם, כי הריצה כולה מתבצעת מקומית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗