Llama-3.1_OpenScholar-8B
קוד פתוחOpenSciLMllama3.12024-11-15
גרסה מכווננת של לאמה שמיועדת לקריאה וסינתזה של ספרות מדעית. במקום מודל כללי שמנחש עובדות, הוא אומן ישירות על מאמרים ונתוני מחקר.
- 131,072טוקנים בהקשר
- 15.0 GBמשקל הקבצים
- 1,850הורדות בחודש
- 85לייקים
מה זה
מדובר במודל שפותח בשיתוף פעולה בין אוניברסיטת וושינגטון ומכון אלן לבינה מלאכותית, על בסיס לאמה שמונה מיליארד. המטרה שלו מוגדרת מאוד, סינתזה של ספרות מדעית ומענה על שאלות מחקריות מורכבות. בשביל זה אימנו אותו על מאגר נתונים ייעודי שנקרא os-data, יחד עם שילוב של דאטהסטים כמו Tulu3 ו־SciRIFF.
ההבדל בינו לבין מודל שמונה מיליארד רגיל הוא המיקוד. מודלים כלליים בגודל הזה נוטים להתפזר או להמציא מונחים כשזורקים עליהם טקסט אקדמי צפוף. כאן חומרי האימון כללו את peS2o גרסה שתיים, שכולל מאמרים מדעיים, ולכן הוא מחזיק אוצר מילים ומבנה טיעון שמתאימים לניתוח מחקרים ולא רק לשיחה יומיומית באנגלית.
מתאים ל
- סינתזה של מאמרי מחקר
חיבור תובנות מתוך מספר מסמכים אקדמיים באנגלית שנכתבו עד תחילת 2023.
- חילוץ מידע מדעי
זיהוי שיטות וממצאים בתוך טקסטים אקדמיים ארוכים, בזכות אימון ייעודי על SciRIFF.
- מנוע למערכות RAG מחקריות
מענה מדויק על שאלות כשיש מערכת שמזינה לו את המאמרים העדכניים ברקע.
איפה זה נופל
נקודת התורפה המרכזית היא תאריך החיתוך של המידע. בסיס המאמרים שלו מגיע רק עד ינואר 2023, כך שכל גילוי או מאמר שהתפרסם מאז פשוט לא קיים בידע המובנה שלו. בנוסף, המודל אומן רק באנגלית, ולכן ניסיון לתחקר אותו בעברית על מושגים מדעיים צפוי להיכשל. למרות הכיוונון המדעי, מודל של שמונה מיליארד עדיין עלול להמציא ציטוטים אם לא מחברים אותו למערכת אחזור חיצונית שתספק לו את המקורות במפורש.
שאלות
נפוצות
האם הוא יודע לענות על מאמרים שפורסמו השנה?
לא מתוך הזיכרון הפנימי שלו. בסיס המאמרים שלו נעצר בינואר 2023. כדי לקבל ניתוח על חומר חדש יותר, חובה להעביר לו את הטקסט המלא כחלק מהפרומפט.
אפשר להשתמש בו לניתוח מאמרים שנכתבו בעברית?
הכרטיס מגדיר תמיכה באנגלית בלבד. המודל לא עבר התאמה למינוח אקדמי בעברית, ולכן הוא לא מתאים לעיבוד טקסטים מקומיים.
איך מריצים
המשקל של הקבצים עומד על 15 ג'יגה בייט בפורמט bfloat16. כדי להריץ אותו בלי שום כימות צריך כרטיס מסך עם לפחות 24 ג'יגה בייט זיכרון, כמו RTX 3090 או כרטיס תואם בענן. עם קוונטיזציה לארבעה ביט אפשר להוריד את הדרישה בערך לחצי ולהסתדר גם על חומרה צנועה יותר.
אם כל מה שאתם צריכים זה לסכם מדי פעם מאמר בודד, כנראה שאין סיבה להחזיק שרת דלוק בשבילו. מריצים אותו לבד רק אם יש לכם זרימת עבודה קבועה שדורשת פרטיות מלאה של החומרים או בדיקה שיטתית של אלפי קבצים מקומיים.
pip install -U huggingface_hub hf download OpenSciLM/Llama-3.1_OpenScholar-8B
הקבצים
8 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המטאדאטה מציג רישיון של לאמה 3.1, אבל בכרטיס המודל המפתחים מציינים שהקוד והמשקולות שוחררו תחת רישיון אפאצ'י 2.0. בגלל שמדובר בכיוונון של לאמה, עדיין חלות עליו ההגבלות המסחריות של מטא, כמו תקרת המשתמשים החודשיים. שילוב במוצר מסחרי ידרוש בדיקה של הסתירה הזו בין ההצהרות.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס