galactica-1.3b

מה זה

מטא אימנה את המודל הזה על 106 מיליארד טוקנים של טקסט מדעי, כולל מאמרים אקדמיים, ספרי לימוד ואנציקלופדיות. המטרה שלו ממוקדת מאוד בסיווג ישויות מדעיות, ניבוי ציטוטים, מענה על שאלות אקדמיות והסקה מתמטית, תחומים שבהם מודלים כלליים באותו גודל בדרך כלל ממציאים שטויות.

בגרסת ה־1.3 מיליארד פרמטרים, המודל משמש כגרסת הבסיס הפשוטה בסדרה שנמתחת מ־125 מיליון ועד 120 מיליארד פרמטרים. הוא מציג רעילות נמוכה ביחס למודלים כלליים בזכות סינון הנתונים, אבל היכולות שלו מוגבלות ביחס לגרסאות הגדולות של אותה סדרה.

מתאים ל

• ניבוי ציטוטים בטקסט מדעי

  הוא אומן ייעודית לחבר בין טענות למקורות אקדמיים בעזרת תיוגים ייעודיים.

• חילוץ ישויות ומאפיינים

  הוא מזהה מונחים ביולוגיים ומאפיינים מולקולריים טוב יותר ממודל כללי בגודל זהה.

• מחקר מקומי על חומרה חלשה

  הוא שוקל רק 2.5 גיגה ורץ בקלות על מחשב נייד בלי צורך בשרתים ייעודיים.

איפה זה נופל

היוצרים מציינים במפורש שהמודל סובל מהזיות ואין שום ערובה שהפלט שלו נכון עובדתית, במיוחד בנושאים מדעיים פחות מוכרים או מצוטטים. בנוסף קיים bias מובנה להעדפת ציטוטים של מקורות פופולריים, מה שפוגע באמינות במחקר נישתי. חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, כך שאי אפשר להזין אליו מאמר שלם בבת אחת.

אותה משפחה

galactica יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 2.5 גיגה-בייט בלבד, כך שניתן לטעון אותו ישירות דרך ספריית transformers על כמעט כל כרטיס מסך בסיסי, ואפילו על מעבד רגיל. עם תמיכה מובנית ב־float16 או טעינה ב־8 ביט, צריכת הזיכרון זניחה לחלוטין ואתם לא צריכים שרת ייעודי כדי לבדוק אותו.

אם אתם צריכים דיוק גבוה בניתוח מושגים מורכבים, הגרסה הזו כנראה תהיה קטנה מדי. במקרה כזה עדיף לעבור לגרסאות ה־30B או ה־120B של אותה משפחה, או לפנות למודל גדול יותר דרך שירות חיצוני במקום לתחזק חומרה כבדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/galactica-1.3b")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 2.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin2.6 GB
• tokenizer.json2.1 MB
• README.md7.7 KB
• .gitattributes1.5 KB
• config.json789 B
• tokenizer_config.json166 B
• generation_config.json137 B
• special_tokens_map.json3 B

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. מותר להוריד, לחקור ולפתח כלים פנימיים לצרכים אקדמיים או אישיים עם מתן קרדיט, אבל אסור לשלב אותו בשום מוצר מסחרי או שירות שגובה תשלום.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗