rwkv-4-pile-14b

קוד פתוח

BlinkDLapache-2.02022-10-20

rwkv
pytorch
text-generation
causal-lm
en

ארכיטקטורת RNN עם 14 מיליארד פרמטרים שמנסה לתת ביצועים של טרנספורמר בלי צוואר הבקבוק החישובי של זיכרון הקשב. מתאים למי שרוצה להריץ מודל פתוח גדול באנגלית בלי לזרוק משאבים מיותרים.

580 GBמשקל הקבצים
5,847הורדות בחודש
171לייקים

מה זה

מדובר במודל שפה סיבתי שמבוסס על שילוב ייחודי של רשתות חוזרות עם יעילות אימון של טרנספורמרים, עם 40 שכבות וממד הטמעה של 5120. הוא אומן על The Pile לאורך 331 מיליארד טוקנים, כך שכל הידע שלו מגיע ישירות מהמאגר הזה וממוקד כולו באנגלית.

במבחני ביצועים הוא מציג דיוק של מעל 70% במשימות הבנה והשלמת משפטים כמו LAMBADA ו־Hellaswag, ודיוק של 77.42% ב־PIQA לחשיבה פיזיקלית יומיומית. המספרים האלה מראים שהוא יודע להתמודד עם שפה טבעית והיגיון בסיסי בצורה יציבה למדי לגודל שלו, אבל מדובר בעיקר ביכולות גנרטיביות גולמיות.

ההבדל המשמעותי הוא במבנה הפנימי. בגלל שמדובר בארכיטקטורת RWKV, הזיכרון הנדרש להסקה נשאר קבוע ואינו מתנפח בריבוע עם אורך הקלט כמו במודלים רגילים, מה שנותן יתרון בריצות ארוכות.

מתאים ל

השלמת טקסט באנגלית
יצירה ועיבוד של מסמכים ארוכים באנגלית בזכות גרסת ההקשר של 8192 טוקנים ויעילות זיכרון עקבית.
מחקר על ארכיטקטורת RWKV
בדיקת חלופות לטרנספורמרים קלאסיים בקנה מידה של 14 מיליארד פרמטרים מול תוצאות The Pile.
בסיס לאימון עצמאי
שימוש במשקולות כבסיס לכוונון עדין על משימות ייעודיות באנגלית עם רישיון פתוח לחלוטין.

איפה זה נופל

הוא אומן רק על The Pile ובאנגלית בלבד, כך שעברית לא קיימת פה בכלל ואין מה לנסות. המודל הגולמי אינו מודל שיחה מכוונן, והיוצר עצמו מפנה לגרסת Raven או לגרסת World אם אתם צריכים צ'אט, מענה להוראות, קוד או שפות אחרות. לפני שמשלבים אותו במערכת, קחו בחשבון ש־WinoGrande עומד על 62.98% בלבד, מה שאומר שהוא עדיין מתבלבל בקלות בהקשרים מורכבים.

אותה משפחה

rwkv-4-pile יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

rwkv-4-pile-7b17,855 rwkv-4-pile-3b5,410

שאלות
נפוצות

האם כדאי להשתמש בו לבניית צ'אטבוט?

לא בגרסה הזו. המודל הספציפי הזה הוא מודל שפה גולמי, והיוצר שלו ממליץ מפורשות להשתמש בגרסת Raven שכווננה להוראות סטייל Alpaca ו־Vicuna אם אתם מחפשים שיחה.

האם הוא מסוגל לעבוד בעברית?

לא, המודל אומן רק על מאגר The Pile באנגלית. אם אתם חייבים שפות נוספות, תצטרכו לעבור לגרסת RWKV-4-World שמכסה מעל מאה שפות.

איך מריצים

כדי להריץ אותו משתמשים בספריית ChatRWKV או בקוד ממאגר RWKV-LM הרשמי. עם 14 מיליארד פרמטרים ומאגר קבצים שדורש נפח אחסון כבד מאוד, אתם תצטרכו כרטיס מסך מקצועי עם לפחות 24GB עד 40GB של VRAM כדי להעלות אותו בלי קריסות, אלא אם מבצעים קוונטיזציה.

יש שתי גרסאות מרכזיות בכרטיס, אחת שאומנה עם חלון הקשר של 1024 טוקנים, וגרסה נוספת שעברה כוונון עדין לאורך של 8192 טוקנים. אם אין לכם חומרה ייעודית מקומית, ההתעסקות בהורדת עשרות ג'יגה־בייט ובהקצאת השרתים תהיה יקרה ולא משתלמת בהשוואה לקריאת API ממודל מוכן.

pip install -U huggingface_hub
hf download BlinkDL/rwkv-4-pile-14b

הקבצים

24 קבצים במאגר, 580 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות ולהפיץ אותם במוצר שלכם ללא תמלוגים. התנאי העיקרי הוא שמירת הקרדיט והודעת הרישיון המקורית.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗