SmolLM2-1.7B-Instruct-WebGPU

מה זה

אתם מקלידים הנחיות טקסט ומקבלים תשובות ישירות בחלון הצ'אט, בלי לשלוח שום מידע לשרת מרוחק. למרות שהשם של הדף מזכיר דגם אחר, הקוד בפועל מפעיל את הדגם SmolLM-360M-Instruct. מדובר במודל שפה קטן במיוחד, עם 360 מיליון פרמטרים בלבד, שמותאם להרצה מהירה במשאבים מוגבלים.

ההרצה מתבצעת בעזרת ספריית Transformers.js יחד עם האצת חומרה מקומית דרך WebGPU. הממשק בנוי כיישום סטטי בטכנולוגיות React ו־Vite, כך שכל החישוב נעשה על המעבד הגרפי של המכשיר שלכם. אין כאן דוגמאות מובנות או כפתורי פרומפטים מראש, אלא רק תיבת טקסט פשוטה שמיועדת להרצת שיחה קונבנציונלית מול המודל המוקטן.

מתאים ל

• ניסוי ב־WebGPU מקומי

  בדיקת היכולת של הדפדפן והמחשב להריץ מודלי שפה ללא שרתים חיצוניים.

• צ'אט בסיסי ללא רשת

  יצירת שיחה פשוטה לחלוטין כשאין חיבור אינטרנט זמין במחשב המקומי.

• בדיקת SmolLM-360M

  בחינת יכולות הניסוח והמענה של מודל קטן עם 360 מיליון פרמטרים.

איפה זה נופל

הבעיה המיידית היא שהדמו באתר שבור ולא עולה בגלל שגיאת הגדרה, מה שמחייב הרצה מקומית דרך טרמינל. בנוסף, השם בעמוד מדבר על מודל של 1.7 מיליארד פרמטרים, אבל הקוד בפועל טוען גרסה מכווצת של 360 מיליון בלבד, שמייצרת תשובות הרבה פחות מתוחכמות ומועדת לשגיאות הבנה. מודל בגודל הזה לא מתאים למשימות כתיבה מורכבות או ניתוח מעמיק, וצריך לבדוק טוב את התוצאות.

איך משתמשים

כרגע היישום באתר נמצא במצב CONFIG_ERROR, כך שאי אפשר פשוט ללחוץ ולהפעיל אותו בעמוד. כדי להשתמש בו תצטרכו לשכפל את מאגר הגיטהאב של transformers.js-examples למחשב שלכם, להתקין תלויות בעזרת npm, ולהרים שרת פיתוח מקומי בכתובת localhost:5173. אין צורך בחשבון או בהתחברות, ומהירות התגובה תלויה אך ורק בעוצמת כרטיס המסך שלכם ובתמיכת הדפדפן ב־WebGPU.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית. כיוון שהכל רץ מקומית בדפדפן, הטקסט שאתם מזינים והתשובות שנוצרות נשארים לחלוטין על המכשיר שלכם ולא מועברים לאף גורם חיצוני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗