POCKET-35B-CPU
רץ בדפדפןFINAL-Benchapache-2.02026-07-23
הדגמת דפדפן להרצת מודל שפה גדול על מעבד בלבד, בלי כרטיס גרפי. היא מיועדת למי שרוצה לבדוק מהירות מענה מקומית ולהשוות אותה ראש בראש מול מודל מתחרה.
- —הורדות בחודש
- 46לייקים
מה זה
מזינים טקסט בצ'אט ומקבלים תשובה שנוצרת בזמן אמת, כולל מדידה של קצב יצירת המילים לשנייה. הממשק מציג טאב אחד לשיחה ישירה וטאב שני לתחרות שבה Bonsai משיב ראשון ומיד אחריו POCKET, שניהם על אותה מכונה.
מאחורי הקלעים רץ POCKET-35B בכימות Q2_K בנפח של 13 גיגה-בייט, מבוסס על Darwin-36B-Opus. זהו מודל MoE דליל עם כ־35 מיליארד פרמטרים שרק כשלושה מיליארד מהם פעילים בכל טוקן, לצד Bonsai-27B מכומת בביט בודד, כולם דרך llama.cpp רגיל על FastAPI.
מתאים ל
- השוואת מהירות מעבדים
בדיקת קצב טוקנים לשנייה בין שני מודלים מכומתים על אותה חומרה בדיוק.
- בדיקת הרצה ללא GPU
הערכת היכולת של מודל 35 מיליארד פרמטרים לענות באופן נסבל על מעבד בלבד.
- הערכת כימות Q2_K
בחינת איכות התשובות של מודל דליל שעבר דחיסה משמעותית ל־13 גיגה-בייט.
איפה זה נופל
ההדגמה בוחנת בעיקר מהירות פליטה בסיסית ולא יכולות הבנה עמוקות. הכימות האגרסיבי לשני ביטים עלול לחתוך מאיכות התוכן והדיוק, וההשוואה מתמקדת בעיקר בקרב מול מודל ביט בודד אחד ולא מול מודלים מלאים או כרטיסי מסך מודרניים.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
הגישה לממשק באתר חופשית לחלוטין וללא עלות. עם זאת, נכון לעכשיו הוא במצב מושהה, וכדי להפעיל עותק פרטי על חומרת מעבד משודרגת תידרש תשתית בתשלום.
מה קורה עם הטקסט שאני כותב שם?
הקוד שפורסם מעביר את הטקסט ישירות אל llama-cpp-python ולא מציג מנגנון לשמירת הנתונים. יחד עם זאת, מדובר בשרת רשת ציבורי ולא מומלץ להזין בו מידע רגיש.
אפשר להריץ את זה על המחשב שלי?
כן, המודלים עצמם זמינים להורדה בפורמט GGUF. הם מיועדים להרצה מקומית על מעבד רגיל דרך llama.cpp, בתנאי שיש למחשב לפחות 13 גיגה-בייט של זיכרון עבודה פנוי.
במה הדף הזה שונה מהמודל עצמו?
הדף הוא סביבת הדגמה סגורה לבדיקת מהירות והשוואת זמנים. המודל עצמו הוא קובץ משקלים שניתן לקחת, לשלב בכל פרויקט ולשלוט בכל הפרמטרים של הריצה שלו.
איך משתמשים
נכנסים לממשק ה־FastAPI וכותבים שאלה בתיבת הטקסט בלי צורך בהרשמה. המערכת יושבת על חומרת מעבד משודרגת אבל כרגע נמצאת במצב מושהה, כך שאי אפשר להריץ אותה ישירות בלי להפעיל אותה מחדש. כשהיא רצה, המענה מתבצע בהזרמה ישירה בלי תור, אבל מעבדים תמיד איטיים יותר מכרטיסי מסך ייעודיים.
הרישיון
הקוד והממשק מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל לצרכים מסחריים. אין תיעוד לגבי שמירת נתונים של טקסטים שמוקלדים בהדגמה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים