saiga_llama3_8b

מה זה

מדובר באימון המשך על בסיס מודל ההוראות של מטא, שעבר כוונון ייעודי למענה ברוסית באמצעות שילוב של אימון מונחה והתאמת העדפות. המטרה כאן ברורה, לתת מענה טבעי ומדויק יותר בדקדוק ובאוצר המילים ברוסית ביחס למה שמודל הבסיס מפיק מהקופסה.

במבחני ההשוואה בשיטת אלפקה מול מודלים אחרים, גרסאות מתקדמות שלו מגיעות לשיעור ניצחון של כמעט 50 אחוזים מול המודל המסחרי של OpenAI כאשר מנטרלים את השפעת אורך התשובה. הוא מייצר פלטים ארוכים יחסית, סביב 1,260 תווים בממוצע, ומתמודד יפה עם שאלות ידע והסברים בשפה הרוסית.

מתאים ל

• בוט שירות לקוחות ברוסית

  נותן מענה מקומי וטבעי לדוברי השפה בלי צורך להסתמך על מודלים גלובליים יקרים.

• מענה לשאלות על מסמכים

  מתאים לשליפת מידע וניסוח תשובות ארוכות ומפורטות בתוך חלון של 8,192 טוקנים.

• הרצה מקומית ומאובטחת

  מאפשר לעבד טקסטים רגישים ברוסית על שרתים פנימיים בלי להוציא מידע לרשת חיצונית.

איפה זה נופל

המודל הזה מכוון כמעט אך ורק לרוסית, כך שאין שום סיבה לחפש בו יכולות בעברית או תמיכה בריבוי שפות מעבר לרמה הבסיסית ביותר. בנוסף, אף על פי ששיעור הניצחון הגולמי שלו נראה מרשים ומגיע לכמעט 70 אחוזים, כשמנרמלים את אורך התשובות הוא יורד חזרה לאזור ה־49 אחוזים. זה אומר שהוא נוטה להאריך במילים כדי להיראות משכנע, וצריך לבדוק טוב שאיכות התוכן עצמו עונה על הדרישות שלכם ולא רק נראית מפורטת.

אותה משפחה

saiga-llama3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא עומד על 15 גיגה בייט בדיוק רגיל, כך שבשביל להריץ אותו ישירות צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי. מי שרוצה להריץ על חומרה צנועה יותר או על מעבד רגיל יכול להשתמש בגרסת הקבצים המכווצת שקיימת עבור ספריות הרצה מקומיות.

גרסה שבע כוללת שינויים שמסירים מגבלות מסוימות, ואילו החל מגרסה ארבע הפורמט של ההנחיות עבר למבנה הרשמי של מטא. אם אתם עובדים עם קוד ישן שמצפה למבנה הקודם, השיחה פשוט תישבר.

from transformers import pipeline

pipe = pipeline("text-generation", model="IlyaGusev/saiga_llama3_8b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.0 KB
• model.safetensors.index.json23.9 KB
• README.md11.9 KB
• .gitattributes1.8 KB
• config.json689 B
• special_tokens_map.json446 B
• generation_config.json277 B

הרישיון

הרישיון מוגדר כמותאם אישית ולא כקוד פתוח סטנדרטי. בגלל שהוא מבוסס על משקלי הבסיס של מטא, חלים עליו תנאי הרישיון המקוריים שלהם, לצד הגבלות שהיוצר עשוי היה להוסיף. חובה לבדוק את פרטי הרישיון הישירים לפני שמשלבים אותו במוצר מסחרי כדי לא להפר תנאים.

הרישיון המלא בעמוד המודל ↗