longchat-13b-16k

מה זה

מדובר במודל שיחה שמבוסס על llama-13b ועבר אימון נוסף על כ־18 אלף שיחות משתמשים שנאספו מ־ShareGPT. כדי להתמודד עם טקסטים ארוכים בהרבה מהמקור, החוקרים השתמשו בטכניקה של condensing rotary embedding. המטרה העיקרית שלו היא לאפשר עיבוד והבנה של שיחות והקשרים נרחבים בלי לאבד את חוט המחשבה.

השם שלו כולל 16k, והוא מכוון ישירות לחוקרים שמחפשים מענה למשימות של הקשר ארוך. הוא שונה מגרסאות 13B רגילות מהתקופה הזו, שקרסו כמעט מיד כשהעמיסו עליהן יותר מכמה אלפי טוקנים. ההערכה שלו נעשתה באמצעות מבחן בשם LongEval שהמפתחים שחררו, כך שכל המיקוד כאן הוא ביצועים תחת עומס של מלל רב ולאו דווקא יכולות שיחה כלליות ליומיום.

מתאים ל

• מחקר על הקשר ארוך

  הוא מיועד מראש לבדיקת התנהגות מודלים בשיחות ארוכות ומלווה במבחן LongEval.

• ניתוח שיחות עבר מרובות

  האימון על 18 אלף שיחות מ־ShareGPT עוזר לו לעקוב אחרי רצף דיאלוגי מפותל.

• בדיקות מעבדה פנימיות

  מתאים לסביבה מבודדת שבה אפשר להריץ FastChat עם הטלאי הנדרש בלי תלות בענן.

איפה זה נופל

המודל נועד במקור למחקר ולא למוצרי קצה. הוא אומן על שיחות ShareGPT, כך שהוא סוחב איתו את כל ההטיות, השגיאות והתשובות החלקיות שהמשתמשים הזינו שם. בנוסף, העובדה שצריך טלאי תוכנה ידני רק כדי לטעון אותו הופכת כל שילוב שלו בצינור פיתוח מודרני לכאב ראש אמיתי שדורש בדיקה מעמיקה.

אותה משפחה

longchat יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אי אפשר לטעון אותו ישירות מתוך transformers בצורה נקייה. המפתחים מבהירים שצריך monkey patch מיוחד, ומפנים לשימוש בקוד של FastChat או LongChat כדי להפעיל אותו דרך שורת הפקודה או ממשק מקומי.

הקבצים שוקלים 24.2 ג'יגה בייט בפורמט float16. כדי להריץ מודל בגודל 13B כזה, תצטרכו כרטיס מסך עם לפחות 24 ג'יגה בייט זיכרון וידאו, ורצוי יותר אם אתם באמת מתכוונים לנצל הקשרים ארוכים. אם אין לכם חומרה כזו פנויה, להרים שרת ייעודי רק בשבילו יעלה לא מעט, ולפעמים זול ופשוט יותר לשלוח קריאות לשירות ענן חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/longchat-13b-16k")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin9.9 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.2 GB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json33.4 KB
• README.md1.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json728 B
• config.json665 B
• special_tokens_map.json435 B
• generation_config.json132 B

הרישיון

הרישיון לא דווח בעמוד המודל. במצב כזה אין אישור שימוש ברור, לא לצרכים מסחריים ולא להפצה. אם אתם בונים מוצר לחברה, עדיף להתרחק עד שהיוצרים יבהירו תחת איזה רישיון הקבצים משוחררים.

הרישיון המלא בעמוד המודל ↗