Mistral-lab

מה זה

הממשק מבוסס על צ'אט פשוט שבו אתם מקלידים הודעות טקסט ומקבלים תשובות בחלון שיחה בגובה שש מאות פיקסלים. מתחת למכסה המנוע רץ המודל Ministral-8B-Instruct-2410 של mistralai, והוא נטען באמצעות ספריית mistral-inference עם הטוקנייזר tekken. הקוד מגדיר תמיכה בקריאה לפונקציות, כמו למשל שליפת נתוני מזג אוויר לפי עיר ויחידות חום, לצד פרמטרים שניתן לכוונן בתיבת הגדרות ייעודית.

התוכנה משתמשת במשקלים הרשמיים שנמשכים ישירות מהמאגר, כולל קובצי ההגדרות וקובץ הסייפטנסורס. בהדגמות ובקוד המקור אפשר לראות שהיא מציגה שדות טקסט נוספים וסליידרים כדי לשלוט על אופן ייצור התשובות, כך שלא מדובר רק בבוט טקסט פשוט אלא בניסיון להמחיש התנהגות מורכבת יותר של המודל.

מתאים ל

• בדיקת המודל

  שליחת שאלות כדי לראות איך מודל שמונה מיליארד הפרמטרים מנסח תשובות.

• הדגמת קריאה לפונקציות

  בחינת האופן שבו המודל מחלץ פרמטרים כמו מיקום ויחידות לצורך שאילתת מזג אוויר.

• שכפול קוד לשרת עצמאי

  העתקת הקוד כדי להריץ סביבת עבודה פרטית עם התאמות אישיות.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה במצב שגיאת ריצה ולכן אי אפשר להשתמש בה כלל בדפדפן. מעבר לכך, הדוגמה של קריאת הפונקציות מציגה בדיקה ספציפית למזג אוויר, מה שלא מעיד על יכולת להתחבר לכלים חיצוניים מורכבים בלי לשנות את הקוד. אם בונים על שימוש שוטף, צריך קודם לשכפל את הפרויקט ולתקן את התקלות.

איך משתמשים

בפועל אתם ניגשים לעמוד, כותבים הודעה בתיבת הטקסט ולוחצים על שליחה כדי להתחיל שיחה. ההרצה משתמשת בהקצאת חומרה של zero-a10g שמעלה מעבד גרפי לפי דרישה, מה שאמור לתת מענה סביר בלי צורך בהתקנה מקומית. עם זאת, נכון לעכשיו מוגדר סטטוס של שגיאת ריצה, כך שהממשק לא מגיב לפקודות בעמוד הציבורי ולא מייצר פלט.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי הקוד והפצה מחדש, כולל שימוש מסחרי. לגבי המידע שאתם מזינים, הוא מועבר לשרתי הריצה של המרחב ולכן עדיף לא לשלוח פרטים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗