deepseek-r1-webgpu
רץ בדפדפןwebml-communityapache-2.02025-01-20
מריצים מודל חשיבה ישירות בתוך הדפדפן שלכם בלי שום שרת חיצוני. הפתרון מיועד למי שרוצה לבדוק יכולות של בינה מלאכותית מקומית בלי לשלוח נתונים החוצה.
- —הורדות בחודש
- 566לייקים
מה זה
כותבים שאלה או הנחיה בתיבת הטקסט ומקבלים תשובה שמציגה את תהליך החשיבה וההיגיון של המודל. התוצאה נבנית מול העיניים שלכם בזמן אמת, ממש כמו שיחה רגילה, אבל כל החישובים מתבצעים ישירות על כרטיס המסך של המחשב שלכם.
מאחורי הקלעים רץ המודל onnx-community/DeepSeek-R1-Distill-Qwen-1.5B-ONNX. מדובר בגרסה מזוקקת ומכווצת של מודל החשיבה DeepSeek-R1, שהותאמה לפורמט ONNX כדי שתוכל לעבוד בדפדפן דרך טכנולוגיית WebGPU בעזרת transformers.js. אין כאן שרתים מרוחקים, והקוד כולו בנוי כעמוד סטטי שמעביר את נטל העיבוד לחומרה המקומית.
מתאים ל
- בדיקת הסקת מסקנות מקומית
הרצת שאלות היגיון פשוטות ובדיקת שרשרת המחשבה של המודל ללא תלות בשרת חיצוני.
- ניסויי פיתוח עם WebGPU
בחינת הביצועים והמהירות של מודלים בפורמט ONNX ישירות בתוך דפדפנים מודרניים.
- עבודה מוחלטת ללא אינטרנט
שימוש במודל טקסט לחשיבה גם כשאין חיבור רשת פעיל, לאחר הטעינה הראשונית.
איפה זה נופל
זה לא המודל המקורי והמלא של DeepSeek-R1, אלא גרסה מזוקקת וקטנה מאוד של 1.5 מיליארד פרמטרים שמבוססת על Qwen. בגלל הגודל המצומצם, יכולות החשיבה והדיוק שלה נמוכות משמעותית מהמודל המלא, והיא מועדת להזיות במשימות מורכבות. בנוסף, אם הדפדפן או כרטיס המסך שלכם לא תומכים ב־WebGPU, הדף פשוט לא יעבוד.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הכלי חינמי לחלוטין ואין שום צורך בתשלום או במנוי. הוא רץ כיישום סטטי פתוח בלי שרת בתשלום ברקע.
מה קורה לטקסט שאני כותב שם?
שום דבר לא יוצא מהמחשב שלכם. כל הטקסט שאתם מקלידים מעובד מקומית בזיכרון של הדפדפן באמצעות WebGPU, ללא שליחת מידע לשרתים.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הפרויקט כולל הוראות התקנה פשוטות דרך npm ו־GitHub. אתם יכולים לשכפל את המאגר ולהרים שרת פיתוח מקומי בכתובת localhost.
במה זה שונה מהמודל המקורי של DeepSeek-R1?
האפליקציה משתמשת בגרסה מזוקקת ומוקטנת של 1.5 מיליארד פרמטרים שהותאמה ל־ONNX. היא חלשה ומוגבלת בהרבה מהמודל המלא, אבל מאפשרת ריצה ישירות בתוך הדפדפן.
איך משתמשים
פותחים את הדפדפן ונכנסים לעמוד בלי צורך בהרשמה, התחברות או תשלום. בפעם הראשונה שתפעילו את הדף הוא יצטרך להוריד את קובצי המודל ישירות לזיכרון הדפדפן, תהליך שלוקח קצת זמן ותלוי לגמרי במהירות האינטרנט שלכם.
ברגע שהמודל נטען, כותבים את הפרומפט ולוחצים על שליחה. אין פה תור של משתמשים אחרים, אבל קצב יצירת המילים תלוי כולו בכרטיס המסך שלכם. אם יש לכם חומרה חלשה או דפדפן בלי תמיכה טובה ב־WebGPU, התגובות יגיעו לאט.
הרישיון
הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. בגלל שההרצה נעשית בדפדפן המקומי שלכם, הטקסט שאתם מקלידים והתשובות שנוצרות לא נשלחים לשום שרת ונשארים אצלכם בלבד.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים