Chat_with_Mistral_V0.3

מה זה

כותבים הודעת טקסט בחלון השיחה ומקבלים תשובה שנוצרת במקום, מילה אחרי מילה בעזרת מנגנון הזרמה. הממשק כולל ציר שליטה בהגדרות נוספות שמוחבאות תחת לשונית ייעודית, כולל סליידרים להתאמת אורך הפלט וההתנהגות שלו, ורשימת דוגמאות מוכנות שאינן נשמרות מראש בזיכרון מטמון.

מאחורי הקלעים רץ המודל Mistral-7B-Instruct-v0.3 מבית mistralai, שנטען ישירות דרך ספריית הטרנספורמרים יחד עם טוקנייזר תואם. מדובר במודל שנועד להבין הוראות מורכבות ולענות עליהן ברצף, כשכל ההיסטוריה של השיחה נשמרת ונשלחת מחדש בכל שאילתה כדי לשמור על הקשר הדיאלוג.

מתאים ל

• התנסות בהוראות טקסט

  בדיקת היכולת של המודל לענות על שאלות, לנסח פסקאות ולעקוב אחרי בקשות מוגדרות.

• שכפול קוד לסביבה פרטית

  העתקת המבנה של ממשק הגראדיו לפרויקט עצמאי כדי להריץ אותו על חומרה מתאימה.

• בדיקת פרמטרים שונים

  שינוי ערכי הסליידרים כדי לראות איך אורכי הפלט משפיעים על התוצאות שמתקבלות.

איפה זה נופל

הבעיה המרכזית כרגע היא סטטוס שגיאת הריצה, שמנטרל את הממשק לחלוטין. גם כשהקוד תקין, הרצה על מעבד רגיל של מודל שפה בגודל שבעה מיליארד פרמטרים איטית מאוד ביחס לכרטיס מסך. אין כאן תמיכה בהעלאת קבצים או מסמכים, אלא טקסט בלבד.

איך משתמשים

נכנסים לעמוד, מקלידים טקסט בשדה התחתון של הצ'אט ולוחצים על שליחה. בקוד מוגדר כפתור שכפול שמאפשר להעתיק את העמוד לסביבה פרטית. בפועל המופע הציבורי מוגדר על חומרת מעבד בסיסית וסובל מתקלת ריצה, מה שאומר שהוא כרגע לא מגיב ואי אפשר להריץ בו שאילתות.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה ושינוי של הקוד. המידע שתקלידו נשלח לשרתי האפליקציה, כך שאין להזין נתונים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗