rwkv7-g1

קוד פתוח

BlinkDLapache-2.02025-03-07

rwkv
pytorch
text-generation
causal-lm
en

ארכיטקטורת RNN טהורה שמנסה להתחרות בטרנספורמרים על משימות היגיון וקוד. היא שומרת על מהירות וצריכת זיכרון קבועות בלי תלות באורך הקלט.

99.4 GBמשקל הקבצים
6,163הורדות בחודש
221לייקים

מה זה

מדובר במודל בסיס ממשפחת RWKV-7 שעבר אימון מקדים על שילוב של טקסט מהרשת, קוד, נתונים סינתטיים ודאטה של שיחה והיגיון. המבנה שלו פועל כרשת חוזרת ולא כטרנספורמר רגיל, מה שאומר שאין כאן את מנגנון ה־KV cache המוכר שזולל זיכרון ככל שהטקסט מתארך. המודל כולל תמיכה מובנית בחשיבה מונחית עם תגיות ייעודיות, השלמת קוד באמצע טקסט והפעלת פונקציות.

בבדיקות מול כרטיס RTX 5090 עם מנוע Albatross, גרסת ה־7.2B מגיעה לקצב דה-קודינג של מעל 145 תווים לשנייה ב־batch בודד, ועד מעל 10,250 תווים לשנייה בעומס מקבילי גבוה של 960, תוך שמירה מלאה על צריכת VRAM קבועה.

מתאים ל

הפעלת כלים וקריאות פונקציה
מבנה ההסקה מותאם להחזרת קריאות פונקציה בפורמט JSON נקי החל מגרסת 1.5B ומעלה.
השלמת קוד באמצע קובץ
תמיכה מובנית בטוקן ייעודי למילוי אמצע מאפשרת לשלב השלמות קוד בדיוק במיקום הסמן.
מערכות עם עומס טקסט ארוך
צריכת הזיכרון והמהירות נשארות קבועות לחלוטין גם כשהקלט גדל, בלי צווארי בקבוק של זיכרון.

איפה זה נופל

הטוקנייזר רגיש בצורה בעייתית לרווחים. אם תשאירו רווח בקצה הפרומפט, המודל ישתבש לחלוטין ויתחיל לפלוט טקסט בשפות זרות ולא באנגלית. מעבר לזה, המודל מוגדר כמודל בסיס ולא כמודל שיחה שעבר כוונון סופי, ולכן הוא דורש הקפדה יתרה על תבניות פרומפט ספציפיות כדי לקבל תוצאות טובות. עברית כלל לא נכללת ברשימת השפות הנתמכות, שכוללת רק שמונה שפות אחרות, כך שאי אפשר לבנות עליו לעיבוד שפה מקומית.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כצ'אטבוט?

הוא מוגדר כמודל בסיס, ולכן הוא לא מתנהג כמו צ'אטבוט רגיל ישר מהקופסה. כדי להפיק ממנו שיחה טובה צריך להקפיד על מבנה פרומפט מדויק שמפריד בין המשתמש לעוזר, או להוריד גרסה שעברה fine-tuning.

למה התשובות יוצאות בשפה לא מובנת?

הסיבה הנפוצה ביותר היא רווח מיותר בסוף הפרומפט ששובר את הטוקנייזר. חובה לנקות רווחים בקצוות הטקסט לפני ששולחים אותו למודל.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע ל־99.4 גיגה-בייט ומחולק ל־14 קבצים, שכן הוא מכיל מספר גדלים שנעים בין 0.1B ל־13.3B פרמטרים. גרסאות קטנות כמו 1.5B ומטה אפשר לדחוף לטלפונים ניידים או להריץ על מעבדים מקומיים דרך GGUF ו־Ollama. מודלים של 7.2B ומעלה בפורמט FP16 כבר דורשים כרטיסי מסך ייעודיים עם שפע זיכרון כמו סדרת RTX מודרנית כדי לנצל את מנועי ההסקה המהירים.

אם אתם לא צריכים שרשרת הסקה עצמאית ומאובטחת על שרת שלכם, עדיף להשתמש ב־API קיים במקום להתעסק עם המרות משקלים מקבצי pth והגדרת מנועי ריצה ייעודיים.

pip install -U huggingface_hub
hf download BlinkDL/rwkv7-g1

הקבצים

14 קבצים במאגר, 99.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט משוחרר תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המשקלים, הפצה ושילוב במוצרים סגורים בלי לשלם תמלוגים, בתנאי ששומרים על הצהרת זכויות היוצרים והרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗