GPT
הוספת כלי
G

galactica-120b

קוד פתוח

facebookcc-by-nc-4.02022-11-16

  • transformers
  • pytorch
  • opt
  • text-generation
  • galactica

מודל ענק שאומן על ספרות מדעית ומאמרים כדי לפתור שאלות מחקר, לחזות ציטוטים ולנתח מולקולות. מתאים לחוקרים שמחפשים מומחה לתחום המדעי, בתנאי שיש להם חומרה כבדה להרים אותו.

  • 2,048טוקנים בהקשר
  • 227 GBמשקל הקבצים
  • 595הורדות בחודש
  • 157לייקים

מה זה

המודל הזה נבנה על ידי צוות Papers with Code במטא כדי לטפל במידע מדעי. הוא אומן על קורפוס של 106 מיליארד טוקנים שכולל מאמרים אקדמיים, ספרי לימוד, אנציקלופדיות ומאגרי מידע. בניגוד למודלים כלליים שמתמקדים בשיחה רגילה, הוא יודע להתמודד עם משימות כמו חיזוי תכונות של מולקולות, פתרון שאלות מדעיות, ניסוח מסמכים וזיהוי ישויות.

בגרסה הזו של 120 מיליארד פרמטרים, הגדולה ביותר במשפחה שכוללת גם גרסאות קטנות מ־125 מיליון ומעלה, הוא מציג רמות רעילות נמוכות משמעותית ביחס למודלים כלליים ומנצח מודלים פתוחים במשימות שפה עתירות ידע. עם זאת, חלון ההקשר שלו נעצר ב־2,048 טוקנים בלבד, מה שמקשה על עיבוד של מסמכים ארוכים בבת אחת.

מתאים ל

  • חיפוש וחיזוי ציטוטים

    הוא אומן להציע מקורות אקדמיים ישירות מתוך טקסט עם תגיות ייעודיות.

  • ניתוח מולקולרי וכימי

    טוקניזציה ייחודית שמאפשרת לו לחזות תכונות של מולקולות בשפה טבעית.

  • מענה לשאלות מדעיות

    שליפה והסבר של מושגים מתמטיים ומדעיים מורכבים מתוך מאגרי ידע.

איפה זה נופל

הבעיה המרכזית פה היא הזיות, והמפתחים מודים בזה במפורש. אימון על חומר אקדמי איכותי לא מונע ממנו להמציא דברים, בייחוד כששואלים אותו על מושגים מדעיים פחות מוכרים או פחות מצוטטים. אין שום ערובה שהפלט שלו נכון עובדתית.

בנוסף, בחיזוי ציטוטים יש לו נטייה מובהקת להעדיף מקורות פופולריים על פני מקורות מדויקים. המודל כולל גם הטיות שנמדדו במבחנים שונים, וחלון של 2,048 טוקנים הוא מגבלה אמיתית בניתוח מאמרים, כך שלא הייתי משלב אותו בתהליך אוטומטי בלי בדיקה אנושית צמודה.

אותה משפחה

galactica יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

galactica-125m1,778 galactica-1.3b1,309 galactica-6.7b413 galactica-30b110

שאלות
נפוצות

האם אפשר לשלב אותו באפליקציה מסחרית?

לא. הרישיון הוא לא מסחרי באופן מוחלט, ואפשר להשתמש בו רק למחקר ופיתוח פנימי שלא מייצר הכנסות.

האם הוא מסוגל לקרוא מאמר שלם ולסכם אותו?

בדרך כלל לא בבת אחת. חלון ההקשר שלו מוגבל ל־2,048 טוקנים, שזה בערך שלושה עד ארבעה עמודים של טקסט באנגלית, ולכן מאמרים ארוכים דורשים פירוק לחלקים.

מה צריך כדי להרים אותו על שרת מקומי?

צריך מעבדים גרפיים עם לפחות 250 עד 300 גיגה בייט של זיכרון וידאו פנוי עבור float16, או כמחצית מזה אם מפעילים טעינה ב־8 ביט.

איך מריצים

כדי להריץ אותו צריך משאבים של שרת רציני. הקבצים שוקלים 227 גיגה בייט בפורמט float16, מה שאומר שאתם חייבים מערך של כמה מעבדים גרפיים חזקים כדי לטעון אותו לזיכרון, אפילו אם דוחסים אותו ל־8 ביט בעזרת bitsandbytes ו־accelerate. הספרייה transformers תומכת בו ישירות עם הארכיטקטורה של OPTForCausalLM.

אם אתם לא מוסד אקדמי או מעבדה עם גישה לאשכול שרתים ייעודי, הניסיון להריץ אותו עצמאית יעלה המון כסף בחשבון הענן. לרוב המפתחים עדיף להסתכל על הגרסאות הקטנות יותר של הסדרה, כמו ה־30B או ה־6.7B, או לחפש גישה דרך שירות חיצוני אם המטרה היא רק בדיקת היתכנות.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/galactica-120b")
print(pipe("שלום"))

הקבצים

34 קבצים במאגר, 227 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0, וזה אומר שאסור להשתמש בו לצרכים מסחריים בכל צורה. השימוש מוגבל למחקר, לימוד וניסויים אישיים בלבד, וכל שימוש בו מחייב לתת קרדיט ליוצרים. אם אתם בונים מוצר בתשלום או כלי עסקי, אי אפשר להשתמש במודל הזה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗