Robin-7b

מה זה

אתם מקלידים שאלה או בקשה בתיבת טקסט ייעודית, לוחצים על כפתור השליחה ומקבלים תשובה שמוצגת כבלוק טקסט מעוצב. הממשק מציג את רצף חילופי הדברים בין השואל למודל, כשהיסטוריית השיחה נשמרת ברקע כדי לנהל מעקב אחרי ההקשר לאורך הדיאלוג.

מאחורי הקלעים הקוד משתמש בספריית LMFlow לצורך טעינת המודלים והרצת תהליך ההסקה. האפליקציה מקושרת למודל LMFlow/Full-Robin-7b-v2, לצד תלות במודל zai-org/chatglm-6b, ומשתמשת בצינורות העבודה של הספרייה כדי לקבל את הטקסט, לעבד אותו ולהחזיר את הפלט למשתמש.

מתאים ל

• ניסוי מהיר במודל Robin

  שליחת שאלות ובדיקת איכות התשובות של מודל שבעה מיליארד פרמטרים בטקסט חופשי.

• בדיקת ספריית LMFlow

  התרשמות מצורת החיבור וההרצה של מודלי שפה דרך התשתית של פרויקט LMFlow.

• השוואת ביצועים למודלים קטנים

  בחינת יכולות המענה של מודל משנת 2023 מול פתרונות קלים אחרים בקוד פתוח.

איפה זה נופל

החיסרון המרכזי והמיידי הוא שהממשק פשוט קורס ולא עובד כרגע בגלל שגיאת ריצה פנימית. מעבר לזה, מדובר במודל שפה בגודל שבעה מיליארד פרמטרים משנת 2023, כך שאי אפשר לצפות ממנו לרמת דיוק או עומק שיש במודלים מודרניים. הממשק גם לא כולל שום יכולת מתקדמת כמו העלאת קבצים או שליטה בפרמטרים של ההסקה.

איך משתמשים

בפועל אתם כותבים את ההודעה בתיבת הטקסט ולוחצים על Send כדי לשלוח אותה למודל. האפליקציה רצה על חומרת a10g-large שאמורה לתת מענה מהיר למודלים בגודל כזה. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, כך שהיא לא פעילה בדפדפן ולא ניתן להפיק ממנה מענה עד שהיוצרים יתקנו את התקלה.

הרישיון

הקוד והממשק מפורסמים תחת רישיון apache-2.0 שמאפשר שימוש חופשי ושינויים בקוד. לגבי התוכן שאתם מקלידים והתשובות שמתקבלות, מומלץ לקרוא את תנאי השימוש הכלליים של הפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗