mistral-super-fast

מה זה

כותבים שאלה או בקשה בתיבת הטקסט, ומקבלים תשובה שנוצרת על ידי המודל Mistral-7B-Instruct-v0.1. הממשק כולל ארבעה מחווני שליטה שונים, ככל הנראה לכיוונון פרמטרים של יצירת הטקסט כמו טמפרטורה או אורך התשובה, אם כי שמותיהם המדויקים לא צוינו בקוד.

בקוד מוגדרות שתי דוגמאות מובנות להרצה מהירה: שאלה על סוד החיים ובקשה למתכון לפנקייקים. הקוד משתמש בספריית InferenceClient כדי לפנות אל המודל, כך שהחישוב עצמו לא מתבצע ישירות על השרת המארח של הממשק אלא נשלח לשירות ההרצה של האגינג פייס.

מתאים ל

• ניסוי מהיר במודל מיסטרל

  בדיקת היכולת של גרסת 7B בהבנת שאלות כלליות ויצירת טקסט.

• בקשת מתכונים והוראות

  קבלת שלבי הכנה מפורטים למאכלים כמו פנקייק ישירות מהמודל.

• שאלות פתוחות ושיחה

  ניהול שיחה קצרה ובחינת התשובות לשאלות מופשטות כמו משמעות החיים.

איפה זה נופל

הבעיה המרכזית היא שהדף מוגדר כרגע במצב תקלה, ולכן אי אפשר לקבל ממנו פלט כלל. מעבר לכך, ההדגמה מתבססת על גרסה 0.1 הישנה יחסית של המודל, ואינה תומכת בהעלאת קבצים, תמונות או מסמכים אלא בהודעות טקסט בלבד. מי שבונה על מהירות גבוהה כפי שהשם מבטיח, עלול להיתקל בזמני תגובה שתלויים בעומס על שירותי ההיסק הציבוריים.

איך משתמשים

נכנסים לממשק, מקלידים הודעה בתיבת הצ'אט או לוחצים על אחת משתי הדוגמאות הקבועות מראש, ומשגרים את הבקשה. אין צורך בהתחברות או בהזנת מפתח אישי כדי להתחיל לכתוב.

האפליקציה רצה על חומרת מעבד בסיסית, אך מאחר שהקוד מפעיל לקוח חיצוני של שירותי היסק, העיבוד תלוי בזמינות השרת החיצוני. כרגע מדווח שהאפליקציה נמצאת במצב שגיאת זמן ריצה, כך שהיא מושבתת ואינה מחזירה תשובות עד שיוצר הדף יתקן אותה.

הרישיון

הרישיון של המרחב עצמו לא דווח כלל, ולכן אין הגדרה רשמית לזכויות השימוש בקוד או בפלט שנוצר. כדאי לזכור שהטקסט שאתם מזינים נשלח דרך תשתית חיצונית, וללא רישיון ברור לא מומלץ להזין מידע רגיש או להסתמך עליו לשימוש מסחרי.

הרישיון המלא ב־Hugging Face ↗