RedPajama

הסקירה

מורידים כ־3TB של קבצים דחוסים מ־Hugging Face, פותחים אותם על הדיסק לנפח של 5TB, ומקבלים מאגר אימון שמכיל 1.2 טריליון טוקנים. זה הבסיס של RedPajama, מיזם קוד פתוח של חברת Together בשיתוף גופי מחקר כמו Stanford CRFM ו־LAION. המטרה כאן מוגדרת היטב, והיא לשחזר במדויק את מתכון הנתונים ששימש לאימון LLaMA המקורי של חברת Meta AI. במקום להסתמך על מודלים סגורים שנשענים על נתונים סודיים, הפרויקט פותח לציבור את כל תהליך הסינון, הניקוי והכנת המידע כדי שכל גוף יוכל לאמן מודלים מתחרים באופן שקוף לחלוטין.

החומר הגולמי חולק לשבע גזרות מידע שונות שכוללות עמודי רשת, ספרים ומאמרים מדעיים. חלק הארי מגיע מ־CommonCrawl, שעבר סינון קפדני באמצעות מסווג לינארי שנועד לשמור בעיקר עמודים שדומים בסגנונם לערכי Wikipedia. במקביל נכנסו קודים מ־GitHub לאחר בדיקת רישיונות, וכן דיונים מאתר StackExchange אחרי ניקוי תבניות קבועות. כל הנתונים והמסננים מפורסמים ב־GitHub לצד לוח מחוונים בשם Meerkat שנועד לחקור את הפיזור הפנימי של הנתונים.

מה מבדיל אותו ממודלים סגורים

מה שבאמת מפריע כאן הוא שקוראים רבים מבלבלים בין מאגר נתונים גולמי לבין מוצר עבודה מוכן למשרד. RedPajama נולד כדי לפתור את הבעיה המסחרית של LLaMA המקורי, שהוגבל למחקר אקדמי בלבד. RedPajama אינו כלי פרודוקטיביות לעובד הבודד, אלא מאגר תשתיתי שנועד לבניית מודלים פתוחים לשימוש מסחרי חופשי. המיזם מתמקד בשלושה שלבים שמתחילים בדאטה, ממשיכים באימון מודל בסיס על גבי מחשבי-על, ומסתיימים בכוונון בעזרת הוראות משתמש שנאספו מ־OpenChatKit כדי להביא את התוצר לרמת שיחה שוטפת ובטוחה.

זה דורש תשתית כבדה.

אם אתם מחפשים ממשק שיעזור לכם לנסח מיילים, לתמצת ישיבות או לנהל משימות בעסק, תתרחקו מהפרויקט הזה. לא הייתי משתמש בזה לשום משימה יומיומית במשרד. המאגר מתאים אך ורק לחוקרי למידה עמוקה, מהנדסי נתונים וצוותי פיתוח שרוצים לאמן מודל משלהם מאפס או לבצע התאמות עמוקות בלי תלות ברישיונות של תאגידי ענק. אם אין לכם אשכול מחשוב רציני עם כרטיסי מסך ייעודיים, אין לכם מה לעשות עם 5TB של טקסט מסונן.

כמה עולה להשתמש בתשתיות

הנתונים עצמם והקוד לסינון שלהם זמינים להורדה בחינם לגמרי דרך Hugging Face ו־GitHub. יחד עם זאת, הרצה של מודלים או אימון שלהם דרך שרתי הענן של חברת Together כרוכים בתשלום שמתחיל מחיוב לפי מיליון טוקנים ב־Serverless Inference ומגיע לעלויות גבוהות בהרבה באשכולות GPU ייעודיים. במסלול השרתים המשותפים המחיר מתחיל מאפס דולר עבור מודלים זעירים מסוימים כמו Ternary Bonsai 27B, ומטפס עד 3.00 דולר למיליון טוקני קלט ו־15.00 דולר לפלט במודלים גדולים כמו Kimi K3.

התמחור מבוסס על צריכה.

רוב המפתחים ישלמו סביב 0.15 דולר לקלט ו־0.60 דולר לפלט עבור מודלים כמו gpt-oss-120B, או 1.04 דולר לקלט ופלט במודל Llama 3.3 70B. יש הנחות משמעותיות על שמירת קלט בזיכרון מטמון, שמורידות את העלות לכמה סנטים בודדים, אבל אימון מודל שלם על 1.2 טריליון טוקנים ידרוש תקציבי מחשוב ענקיים שנמדדים באלפי דולרים ומעלה. בנוסף, האתר של החברה מציע פתרונות אחסון ואימון ייעודיים שמתומחרים בהתאמה אישית דרך פנייה למכירות, ולא מציג מחירון קבוע מראש עבור הקמת אשכול חומרה פרטי.

עברית לא מוזכרת במסמכים.

בכל החומר שפורסם סביב RedPajama אין שום אזכור לתמיכה בשפה העברית או לאיסוף מקורות ישראליים. המאגר מתמקד במקורות בינלאומיים גדולים כמו ויקיפדיה, סריקות רשת כלליות וספרות פתוחה, כך שסביר להניח שחלקה של העברית בתוך 1.2 טריליון הטוקנים שולי עד אפסי. מי שבונה על התשתית הזו כדי לפתח מודל שיבין עברית ברמה גבוהה יצטרך להזריק בעצמו כמויות עצומות של תוכן מקומי, לסנן אותו באותן שיטות, ולהשקיע זמן נוסף בניקוי והתאמה.

• מאגר נתוניםקוד פתוח חינמי
• תשתית ענןתשלום לפי שימוש
• תמיכה בעבריתלא צוינה כלל

מאגר הבסיס של RedPajama הוא מאגר פתוח לחלוטין של 1.2 טריליון טוקנים שנוצר על פי המתכון המתואר במאמר של LLaMA.

הודעת ההשקה בבלוג של Together