Nous-Capybara-34B

מה זה

הבסיס כאן הוא Yi-34B שעבר כוונון עדין על בסיס נתונים סינתטי בשם Capybara. ב־NousResearch בנו את סט האימון סביב טכניקה שהם מכנים Amplify-instruct, שמשלבת מקורות כמו Orca, Vicuna ודיונים מאתר LessWrong. במקום עשרות או מאות אלפי דוגמאות קצרות, הם השתמשו ב־20 אלף דוגמאות בלבד, אבל כאלה שמתמקדות בשיחות עמוקות.

מעל 60% מנתוני האימון כוללים חילופי דברים מרובי שלבים ולא רק פקודה ותשובה בודדת, עם ממוצע של מעל אלף טוקנים לדוגמה. בנוסף, המודל אומן על מאות משימות תמצות מורכבות, מה שאמור לעזור לו להחזיק ראש בטקסטים ארוכים במיוחד שמוזנים לתוך חלון ההקשר שלו.

מתאים ל

• ניתוח מסמכים ארוכים

  חלון של 200 אלף טוקנים ואימון ייעודי על מאות משימות תמצות מאפשרים לעבד דוחות ומחקרים כבדים.

• שיחות מרובות שלבים

  רוב נתוני האימון הורכבו משיחות ארוכות, מה שעוזר לו לשמור על עקביות בדיאלוג מתמשך.

• דיונים פילוסופיים וניתוח

  חלק מנתוני הסינתזה הגיעו מפוסטים ב־LessWrong, מה שמכוון אותו ללוגיקה ורציונליות.

איפה זה נופל

בכרטיס המודל אין עדיין תוצאות מבחנים רשמיים, והיוצרים מציינים שהבנצ'מרקים רק יגיעו בהמשך. זה אומר שאין מדדים כמותיים עצמאיים לגבי רמת הדיוק שלו מול חלופות. ידע העולם שלו נעצר בסוף 2022 ללא גישה לרשת.

מעבר לזה, המפתחים מודים בעצמם שהם זקוקים לעזרת מתנדבים בעלי תארים מדעיים כדי לנקות תשובות שגויות מתמטית ומדעית מתוך החומרים שלהם. לכן, אי אפשר לסמוך עליו בחישובים מדויקים, נוסחאות או שאלות מדעיות קשיחות בלי לבדוק כל פלט ידנית.

אותה משפחה

Nous-Capybara יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל של הקבצים מגיע ל־64.1 גיגה בייט בדיוק bfloat16 על פני 60 שכבות. כדי לטעון אותו כמו שהוא צריך כרטיס מקצועי עם לפחות 80 גיגה זיכרון, כמו A100 או H100, וגם אז כדאי לקחת בחשבון שפתיחה מלאה של חלון ההקשר עד 200 אלף טוקנים תדרוש משאבי זיכרון אדירים נוספים מעבר למשקל הבסיס.

אם אין לכם שרת ייעודי כזה בחברה, להרים מופע ענן בשביל בדיקות מזדמנות יעלה לא מעט כסף לשעה. במצב כזה, עדיף להמתין למשקלים מכווצים או להשתמש ב־API מרוחק של ספק שמארח אותו, במקום לנסות לדחוף 34 מיליארד פרמטרים לחומרה מקומית רגילה.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Nous-Capybara-34B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 64.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00007.bin10.0 GB
• pytorch_model-00006-of-00007.bin9.9 GB
• pytorch_model-00002-of-00007.bin9.9 GB
• pytorch_model-00005-of-00007.bin9.7 GB
• pytorch_model-00004-of-00007.bin9.7 GB
• pytorch_model-00003-of-00007.bin9.7 GB
• pytorch_model-00007-of-00007.bin9.7 GB
• tokenizer.model1.0 MB
• pytorch_model.bin.index.json44.8 KB
• tokenization_yi.py9.0 KB
• README.md5.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json947 B
• config.json687 B
• special_tokens_map.json569 B
• generation_config.json132 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. זה רישיון מתירני שמאפשר שימוש מסחרי, שינוי הקוד, הפצה ושילוב במוצרים סגורים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗