llama-3.2-reasoning-webgpu

מה זה

מדובר בממשק שבו מקלידים שאלות ומקבלים תשובות שמשלבות תהליכי חשיבה והסקה, ישירות ממודל Llama 3.2. הייחוד כאן הוא שאין שרת מאחורי הקלעים שמקבל את הטקסט שלכם. הכל מתבצע בצד הלקוח בעזרת טכנולוגיית WebGPU וספריית transformers.js.

הקוד הוא דף סטטי שמוריד את קובצי המודל ישירות למכשיר שלכם ומפעיל את המעבד הגרפי המקומי. אין כאן מנגנון מורכב של ענן, אלא ניצול ישיר של החומרה שנמצאת אצלכם במחשב כדי לפענח את הטקסט, לנתח את השאלה ולייצר את שלבי ההסקה בלי לשלוח פניות רשת החוצה.

מתאים ל

• ניסוי WebGPU בדפדפן

  בדיקה מהירה של יכולות עיבוד בינה מלאכותית מקומית על המחשב שלכם בלי שום התקנה מוקדמת.

• פיתוח אפליקציות פרטיות

  שימוש בקוד המקור כבסיס לפרויקטים שבהם המידע חייב להישאר אצל המשתמש ולא לעבור בענן.

• הסקה לוגית בסיסית

  הרצת שאלות שדורשות צעדי מחשבה מובנים ישירות מתוך הדפדפן, בחינם ובלי תלות ברשת.

איפה זה נופל

האפליקציה דורשת דפדפן וחומרה עם תמיכה תקינה ב־WebGPU, ובלי זה היא פשוט לא תעבוד. בנוסף, מדובר בגרסה קטנה של Llama 3.2 כדי שתוכל להיכנס לזיכרון הדפדפן, אז אל תצפו ליכולות ניתוח מורכבות או לאמינות של המודלים הגדולים בענן. אין כאן שום מנגנון תיקון אם המודל מנחש שטויות.

איך משתמשים

טוענים את העמוד בדפדפן שתומך ב־WebGPU וממתינים להורדת משקלי המודל למחשב. אין צורך לפתוח חשבון, אין תור ואין הגבלת שימוש של שרת חיצוני. מהירות התגובה תלויה לחלוטין במעבד הגרפי של המחשב שלכם, כך שעל מחשב חזק המודל יגיב מהר ועל חומרה חלשה תרגישו האטה ברורה.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0 קוד פתוח שמתיר שימוש, שינוי והפצה, כולל שימוש מסחרי. המידע שאתם מקלידים נשאר כולו בדפדפן המקומי שלכם, כך ששום תוכן אינו נשלח לשרת חיצוני או נשמר במאגר כלשהו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗