rwkv-6-world
קוד פתוחBlinkDLapache-2.02024-02-08
ארכיטקטורת RNN עם יעילות של מודל לינארי שמנסה להתחרות בטרנספורמרים רגילים. מתאים למי שרוצה להריץ מודל מקומי פתוח בלי עלויות הזיכרון של מנגנון תשומת לב מסורתי.
- 63.4 GBמשקל הקבצים
- 802הורדות בחודש
- 146לייקים
מה זה
מדובר במודל שפת מקור שרץ על ארכיטקטורת RWKV בגרסה שש, עם מיקוד בינלאומי. הדאטה שלו מורכב משבעים אחוז אנגלית, חמישה עשר אחוז שפות נוספות וחמישה עשר אחוז קוד, כשהאימון התבסס על שילוב של Pile, SlimPajama, StarCoder, ויקיפדיה ודאטה מבוסס שיחות. הוא מאומן על יותר ממאה שפות, כולל תמיכה מפורשת בשפות אירופיות וסינית.
במבחן MMLU, גרסת 7B מגיעה לתוצאה של 54.2% בגרסה v3 ו־47.9% בגרסה v2.1. זה מראה על הבנה כללית סבירה, אבל המודל הזה מפגר אחרי הטרנספורמרים המובילים בגודל הזה. היתרון העיקרי כאן הוא לא דיוק עיוור בידע כללי, אלא השילוב בין אימון מקבילי לבין ריצה חסכונית בזמן הסקת מסקנות שמזכירה רשתות חוזרות.
מתאים ל
- הסקה חסכונית במשאבים
מתאים למי שמחפש מבנה RNN שדורש פחות זיכרון במהלך ריצה ארוכה בהשוואה לטרנספורמרים.
- ניסויי קוד ואוטומציה מקומית
אימון שכולל 15 אחוז קוד מאפשר לייצר סקריפטים ומשימות פיתוח פשוטות על תשתית מקומית.
- מערכות שיחה רב לשוניות
תומך במגוון שפות רחב מחוץ לאנגלית, בתנאי שמקפידים על פורמט הפרומפט המדויק.
איפה זה נופל
הטוקנייזר רגיש בצורה מוגזמת למבנה הפרומפט. הכרטיס מזהיר במפורש שאסור לשים רווח אחרי הנקודתיים בסוף ההוראה, אחרת הטוקנייזר משתבש והמודל יפלוט טקסט בשפות זרות במקום אנגלית. הוא גם מחייב החלפה של שורות ריקות כפולות בירידת שורה אחת כדי לא להרוס את ההקשר. בנוסף, ציון של 54.2% ב־MMLU מראה שהוא נוטה להזיות ולא מתאים למשימות שדורשות דיוק עובדתי קריטי, ואין תיעוד לגבי איכות הפלט בעברית.
שאלות
נפוצות
למה המודל מחזיר ג'יבריש או שפה אחרת באמצע שיחה באנגלית?
הטוקנייזר נשבר אם משאירים רווח אחרי הנקודתיים בשורת הקלט האחרונה. צריך לוודא שהפרומפט מסתיים בתו של הנקודתיים בדיוק, ללא רווחים נוספים.
איך המודל מתמודד עם טקסטים בעברית?
עברית לא רשומה במפורש בין השפות הראשיות שלו, למרות שהוא מאומן על דאטה כללי מרובה שפות. צריך לבדוק אותו עצמאית לפני שמסתמכים עליו בעברית, כי עיקר המשקל בדאטה הלך לאנגלית ולשפות מרכזיות אחרות.
איך מריצים
בשביל להריץ אותו צריך להתקין את חבילת הפייתון rwkv מגרסה 0.8.24 ומעלה, ולהשתמש בטוקנייזר rwkv_vocab_v20230424. סך הקבצים שוקל מעל 63 ג'יגה בייט, כך שצריך חומרה עם נפח אחסון רחב וכרטיס מסך עם זיכרון משמעותי כדי להחזיק משקלים כאלה, אלא אם מריצים גרסאות קטנות יותר כמו גרסת ה־0.1B שהוזכרה.
יש אפשרות לעבוד עם ממשק גרפי בשם RWKV-Runner או להשתמש בסקריפטים מוכנים מתוך ChatRWKV. אם אין לכם כרטיסי מסך חזקים מקומית, עדיף להשתמש בדמו ב־Gradio או להרים שרת ייעודי במקום להיאבק עם חומרה ביתית.
pip install -U huggingface_hub hf download BlinkDL/rwkv-6-world
הקבצים
7 קבצים במאגר, 63.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים