mistral-7b

מה זה

מקלידים הודעה בתיבת הטקסט ומקבלים תשובה ישירה בחלון השיחה. מתחת למכסה המנוע רץ המודל mistralai/Mistral-7B-Instruct-v0.3 בעזרת ספריית transformers של פייתון. התשובות זורמות בזמן אמת באמצעות TextIteratorStreamer, כך שלא צריך לחכות שהפסקה כולה תסתיים לפני שרואים מילים על המסך.

הממשק מספק כמה סליידרים להגדרות הריצה, כמו אורך התשובה והיצירתיות שלה. יש גם דוגמאות מובנות בלחיצה אחת, שאינן נשמרות במטמון ומאפשרות לבדוק מיד איך המודל מגיב לפקודות שונות בלי להקליד שום דבר לבד.

מתאים ל

• בדיקת ניסוחים והוראות

  מזינים פרומפט ורואים איך גרסת ההוראות של המודל מתמודדת איתו בזמן אמת.

• עריכה ותרגום טקסטים

  מדביקים פסקאות קצרות ומבקשים לתקן שגיאות או לתרגם ישירות בחלון הצ'אט.

• התנסות בהגדרות דגימה

  משחקים עם הסליידרים כדי לראות איך פרמטרים שונים משנים את אופי התשובה.

איפה זה נופל

אם מכניסים קלט ארוך מדי שסותם את כל חלון ההקשר, הקוד חוסם את הבקשה וזורק שגיאה מפורשת שאין מקום לייצר טוקנים חדשים. הממשק גם לא מאפשר לשלוח הודעות ריקות. מעבר לזה, מדובר במודל של שבעה מיליארד פרמטרים, אז הוא לא יחליף מודלי ענק במשימות היגיון סבוכות במיוחד.

איך משתמשים

נכנסים לדף, מקלידים שאלה בתיבה ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, ולכן התגובה מתחילה לזרום מהר יחסית כל עוד המשאב פנוי. לא צריך לשלם על הגישה, אבל אם יש עומס ייתכן שתחכו בתור קצר.

הרישיון

הקוד של היישום מופץ ברישיון mit פתוח ומתירני, שמאפשר שימוש חופשי כמעט לכל צורך. לגבי תוכן השיחות שלכם, המידע מועבר לשרת שמריץ את המודל ולא מצוין בקוד שהוא נשמר במאגר כלשהו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗