stablelm-2-chat

מה זה

מקלידים הודעת טקסט רגילה ומקבלים תשובה שמוזרמת בחזרה בחלון הצ'אט. הממשק חושף שליטה בסיסית בהגדרות הריצה, כולל שינוי הודעת המערכת שמכוונת את התנהגות העוזר, מדד הטמפרטורה בין אפס לאחד, וכמות מרבית של טוקנים לתשובה בטווח שבין 100 ל־2048.

מאחורי הקלעים רץ המודל stabilityai/stablelm-2-12b-chat באמצעות ספריית transformers של פייתון, יחד עם מנגנון הזרמת טקסט בתהליכים נפרדים. יש בממשק גם דוגמאות מובנות להרצה מהירה של שאלות נפוצות, כדי לראות איך המערכת מגיבה לפני שמתחילים לכתוב לבד.

מתאים ל

• בדיקת שיחה באנגלית

  שליחת שאלות ובקשות ניסוח כדי לבחון את רמת ההבנה והסגנון של המודל.

• ניסוי בהנחיות מערכת

  שינוי ה־System Prompt ובדיקה כיצד הוא משפיע על אופי התשובות והטון.

• כוונון טמפרטורה

  בדיקת ההבדל בין תשובות מדויקות ליצירתיות על ידי הזזת הסליידר בממשק.

איפה זה נופל

הבעיה המיידית היא שההדגמה קרסה לחלוטין ולא נטענת. מעבר לזה, חומרה של מעבד רגיל אינה מתאימה להרצת מודל בגודל כזה בזמן סביר, כך שגם אם היא תעלה, הביצועים בדפדפן יזחלו ולא ישקפו את המהירות האמיתית של המודל על כרטיס מסך מתאים.

איך משתמשים

בפועל אין כרגע דרך להשתמש בה בדפדפן, כי האפליקציה נמצאת במצב של שגיאת ריצה (RUNTIME ERROR). כשהיא עובדת, מקלידים בתיבת הקלט, מכוונים את הסליידרים ולוחצים לשליחה. החומרה שמוקצית לה היא מעבד בסיסי בלבד, מה שאומר שזמני התגובה למודל של 12 מיליארד פרמטרים צפויים להיות אטיים מאוד.

הרישיון

הרישיון מוגדר כ־other, כלומר תנאי שימוש ייעודיים שלא הוגדרו כרישיון קוד פתוח סטנדרטי. יש לבדוק את תנאי המודל המקוריים לפני כל שימוש בפלט או הסתמכות עליו.

הרישיון המלא ב־Hugging Face ↗