reka-flash-3

מה זה

מדובר במודל שפותח מאפס כדי לתת מענה למשימות חשיבה מורכבות, כשהוא מאומן מראש להפיק תהליך היסק מלא בתוך תגיות ייעודיות לפני שהוא פולט תשובה. האימון כלל דאטה סינתטי וציבורי עם שלב חיזוק שמבוסס על תגמולי מודל וכללים.

בניגוד לרוב המודלים הפתוחים בקטגוריית המשקל הזו, הוא מתוכנן לייצר תהליך חשיבה ארוך, אך כולל מנגנון שמאפשר לעצור את החשיבה באמצע כדי לחסוך זמן ומשאבים ועדיין לקבל מענה סביר. החברה מדווחת על תוצאות שמשתוות למודלים מסחריים כמו o1-mini במבחני AIME 2024, מה שהופך אותו לבסיס חזק למערכות שדורשות פתרון בעיות לוגיות בלי לשלם על כל קריאה לספק חיצוני.

מתאים ל

• פתרון בעיות לוגיות וקוד

  המודל מייצר תהליך חשיבה מובנה ומסוגל להתמודד עם משימות מתמטיקה ותכנות מורכבות.

• סוכני מחקר מבוססי חיפוש

  מתאים לשילוב עם כלי אחזור מידע חיצוניים כדי לפצות על פערי הידע שלו.

• הטמעה מקומית בארגונים

  מאפשר הרצה מלאה בתוך רשת סגורה למשימות היסק מורכבות ללא תלות בספק חיצוני.

איפה זה נופל

היוצרים מגדירים אותו במפורש כמודל שמיועד לאנגלית בלבד. אמנם אפשר לפנות אליו בשפות אחרות, אך הוא נוטה לבצע את תהליך החשיבה הפנימי באנגלית, מה שפוגע באיכות התוצאה הסופית בעברית. מעבר לכך, המודל אינו מאגר ידע מוצלח בפני עצמו למשימות עמוסות עובדות בלי חיבור לחיפוש רשת, ולא עבר תהליכי יישור או עיצוב אישיות נרחבים, כך שהוא עשוי לפלוט תוכן לא מסונן.

איך מריצים

כדי להעלות 21 מיליארד פרמטרים בפורמט bfloat16 תצטרכו כרטיס עם לפחות 48 גיגה זיכרון גרפי דוגמת A6000 או שילוב של שני כרטיסים קטנים יותר, שכן משקל הקבצים לבדו נושק ל־40 גיגה. המודל יושב בארכיטקטורה תואמת Llama, כך שניתן לטעון אותו ישירות דרך ספריות transformers או vLLM עם פקודה בסיסית וקביעת תבנית שיחה.

בסבבי שיחה מרובים מומלץ לחתוך החוצה את עקבות החשיבה של התשובות הקודמות כדי לפנות מקום בחלון ההקשר. אם אין לכם שרת ייעודי זמין ברקע, כנראה שיהיה לכם זול ופשוט יותר להישאר עם API חיצוני ולא להחזיק חומרה כבדה עבורו.

pip install -U huggingface_hub
hf download RekaAI/reka-flash-3

הקבצים

19 קבצים במאגר, 38.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors9.8 GB
• model-00004-of-00005.safetensors9.8 GB
• model-00002-of-00005.safetensors9.8 GB
• model-00001-of-00005.safetensors9.8 GB
• model-00005-of-00005.safetensors2.5 GB
• tokenizer.json4.2 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• eval-new.png235.3 KB
• eval.png204.9 KB
• aime.png59.5 KB
• model.safetensors.index.json32.9 KB
• tokenizer_config.json5.8 KB
• README.md3.8 KB
• .gitattributes1.6 KB
• special_tokens_map.json774 B
• config.json559 B
• generation_config.json174 B
• added_tokens.json32 B

הרישיון

רישיון Apache 2.0 מאפשר שימוש חופשי לחלוטין, כולל הטמעה במוצרים מסחריים ושינוי קוד המקור. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗