POCKET-26B-CPU

מה זה

הממשק מציג צ'אט ובדיקת ביצועים ראש בראש. אתם שולחים שאלת טקסט רגילה, ומקבלים תשובות משני מודלים יחד עם מדידת קצב הפקת הטוקנים לשנייה. בלשונית ההשוואה, המודל Bonsai-27B עונה ראשון, ומיד אחריו עונה POCKET-26B על אותה חומרה בדיוק.

מאחורי הקלעים רץ שרת שנבנה ב־FastAPI ומשתמש ב־llama.cpp רגיל. המודל POCKET-26B מבוסס על Gemma4-26B-A4B של גוגל, ארכיטקטורת תערובת מומחים עם כארבעה מיליארד פרמטרים פעילים לכל טוקן מתוך 25.2 מיליארד בסך הכל. הוא עבר כיול imatrix בקוריאנית וכימות Q4_K_M במשקל 17 גיגה-בייט, מולו מתחרה Bonsai-27B שמבוסס על כימות של ביט בודד.

מתאים ל

• בדיקת ביצועי מעבד

  השוואת מהירות כתיבה של מודלים גדולים על מעבד רגיל לפני שמגדירים סביבה מקומית.

• בחינת מודל מכווץ

  בדיקת איכות התשובות של POCKET-26B בכימות ארבעה ביט מול מודל בכימות ביט בודד.

• הערכת תערובת מומחים

  מעקב אחר התנהגות מודל Gemma4 שמפעיל רק ארבעה מיליארד פרמטרים בכל שלב.

איפה זה נופל

ההדגמה בוחנת בעיקר מהירות על מעבד ספציפי ולא מתאימה לעיבוד קבצים, תמונות או משימות קוד מורכבות. הכיול של המודל בוצע על בסיס נתונים בקוריאנית, כך שאיכות הפלט בעברית לא נבדקה ולא מובטחת. בנוסף, ההשוואה ל־Bonsai היא מול כימות של ביט אחד, ולא מול גרסאות מלאות שרצות על חומרה ייעודית.

איך משתמשים

נכנסים לדפדפן, מקלידים הנחיה בתיבת הטקסט ולוחצים על שליחה. אין צורך בהתחברות מיוחדת או בהגדרת מפתחות, אבל כרגע המרחב נמצא במצב מושהה ולא יגיב עד שיפעילו אותו מחדש. כשהוא פעיל, השרת רץ על שרת מעבד משודרג ללא כרטיס מסך, כך שזמן התגובה תלוי בעומס ובקצב יצירת הטקסט שמציג הממשק בזמן אמת.

הרישיון

הקוד והמודלים משוחררים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי. הממשק מבוסס על שרת רשת מקוון, ולכן טקסטים שאתם שולחים עוברים דרך השרת המארח של האפליקציה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗