rwkv-5-world

מה זה

מדובר במודל שפת RNN ממשפחת RWKV בגרסה חמש, שנועד לייצר טקסט תוך שמירה על זיכרון קבוע בזמן הריצה, בניגוד למודלי שנאי רגילים. המודל אומן על מעל מאה שפות, כאשר שבעים אחוז מהנתונים הם באנגלית, חמישה עשר אחוז בשפות שונות, ועוד חמישה עשר אחוז מוקדשים לקוד. סך הנתונים מבוסס על שילוב של מאגרי ענק כמו ויקיפדיה, סלים פג׳מה, סטאר קודר, ודאטה ציבורי של שיחות צ׳אט בהיקף של עד 1.12 טריליון טוקנים בגרסה השנייה.

הייחוד הטכני כאן נובע מאימון על ארכיטקטורה ליניארית שחוסכת משאבים משמעותיים בהסקה. במקום חישובי קשב ריבועיים שמכבידים על המעבד והזיכרון ככל שהטקסט מתארך, המבנה הזה שומר על מצב פנימי קבוע. הוא מתאים למי שרוצה לעבד רצפים ארוכים או להריץ מודל מקומי בלי לחשוש מקריסת זיכרון מהירה.

מתאים ל

• ייצור טקסט חסכוני בחומרה

  ארכיטקטורת RNN מאפשרת ריצה על זיכרון יציב גם בטקסטים ארוכים.

• מערכות שיחה מרובות שפות

  הוא כולל אימון מובנה על מעל מאה שפות ופורמט שיחה מוגדר מראש.

• השלמת קוד מקומית

  חמישה עשר אחוז מנתוני האימון הוקדשו לקוד ממקורות כמו סטאר קודר.

איפה זה נופל

המודל רגיש מאוד לעימוד ולמבנה הטוקנים. הכרטיס מזהיר במפורש שאסור לשים רווח אחרי הנקודתיים בסוף הפרומפט, אחרת הטוקנייזר משתבש והמודל פולט תשובות בשפות אחרות. מעבר לזה, כדי לקבל תוצאות הגיוניות צריך להחליף ירידות שורה כפולות בירידה בודדת בתוך הטקסט, ולהקפיד על תבניות שיחה או שאלות ותשובות קשיחות מאוד. בלי התאמה מדויקת לפורמט הזה, הפלט עלול להישבר.

איך מריצים

כדי להריץ אותו צריך להתקין את חבילת הפייתון rwkv בגרסה 0.8.22 ומעלה, ולהגדיר את הטוקנייזר הייעודי rwkv_vocab_v20230424. שמונת קובצי המשקלים תופסים יחד 29.6 גיגה בייט, כך שצריך כרטיס מסך חזק עם זיכרון וידאו מספק, או זיכרון מערכת גדול אם מריצים על מעבד רגיל. למפתחים יש סקריפטים רשמיים בגיטהאב כמו RWKV_v5_demo ודוגמאות API.

למי שלא רוצה להסתבך עם קוד, קיים ממשק גרפי בשם RWKV Runner או דמו רשת קיים. אם אין לכם חומרה מקומית שיכולה לבלוע כמעט שלושים גיגה בייט של משקלים, עדיף להשתמש בפתרונות ענן או בדמו הרשמי.

pip install -U huggingface_hub
hf download BlinkDL/rwkv-5-world

הקבצים

8 קבצים במאגר, 29.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• RWKV-5-World-7B-v2-20240128-ctx4096.pth15.0 GB
• RWKV-5-World-3B-v2-20231113-ctx4096.pth6.1 GB
• RWKV-5-World-3B-v2-20231118-ctx16k.pth6.1 GB
• RWKV-5-World-1B5-v2-20231025-ctx4096.pth3.2 GB
• RWKV-5-World-0.4B-v2-20231113-ctx4096.pth923.5 MB
• RWKV-5-World-0.1B-v1-20230803-ctx4096.pth385.6 MB
• README.md2.4 KB
• .gitattributes1.5 KB

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש חופשי, שינוי של הקוד והמשקלים, ושילוב שלהם במוצרים מסחריים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית ותנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗