GPT
הוספת כלי
T

TheProfessor-155b

קוד פתוח

abacusaillama22024-01-26

  • transformers
  • safetensors
  • llama
  • text-generation
  • mergekit

חיבור ישיר של ארבעה מודלים שונים בגודל שבעים מיליארד יצר מודל ענק למחקר ומתמטיקה. הוא פונה למי שמחפש ידע עמוק במדעים ומסוגל להתמודד עם דרישות חומרה חריגות.

  • 155Bפרמטרים
  • 4,096טוקנים בהקשר
  • 288 GBמשקל הקבצים
  • 107הורדות בחודש

מה זה

הבסיס כאן הוא מיזוג ליניארי של ארבעה מודלים שונים בלי אימון נוסף אחרי החיבור. שילבו פה את דולפין לשיחה כללית, וויזארד למתמטיקה, סינתיה להסברים ומדיטרון לרפואה ומדע, כולם בגרסאות שבעים מיליארד פרמטרים. התוצאה היא מפלצת של מאה חמישים וחמישה מיליארד פרמטרים שנועדה לחבר בין תחומי ידע שונים ולסייע בהעלאת רעיונות תיאורטיים, קוד וכתיבה מדעית.

במבחני הביצועים הוא מציג תמונה מעורבת. ציון של 0.694 ב־MMLU ו־0.624 ב־TruthfulQA מראה על בסיס ידע רחב ודיוק סביר בתשובות עובדתיות. לעומת זאת, ציון של 0.4284 ב־GSM8K מעיד על חולשה ממשית בפתרון בעיות מתמטיות שלב אחר שלב, למרות השילוב של מודל מתמטי ייעודי במיזוג.

מתאים ל

  • סיעור מוחות מדעי

    פיתוח רעיונות וכיווני מחקר תיאורטיים במדע ופיזיקה בזכות שילוב תחומי הידע של המודלים הממוזגים.

  • עריכת מאמרים אקדמיים

    ניסוח, ביקורת והרחבה של פסקאות במאמרים מורכבים תוך התבססות על שפה מדעית גבוהה.

  • ניתוח מושגים ברפואה

    הסבר מנגנונים ביולוגיים ורפואיים כלליים לצורכי למידה פנימית, על בסיס הידע שהגיע ממדיטרון.

איפה זה נופל

החיסרון המרכזי נובע משיטת הבנייה שלו. מיזוג ליניארי של מודלים שונים בלי שלב יישור או כוונון עדין מייצר לעיתים חוסר עקביות פנימי, כפי שרואים בצניחה של הציון במתמטיקה. בנוסף, חלון ההקשר המקורי עומד על 4,096 טוקנים בלבד, אורך קצר מאוד שמגביל קריאה של מאמרים שלמים. לא הייתי משתמש בו לשום יישום רפואי אמיתי או למערכת שדורשת חישובים מדויקים בלי אימות אנושי צמוד.

שאלות
נפוצות

האם המודל שווה את עלויות ההרצה העצמית ביחס לחלופות?

לא בטוח בכלל. מודלים מודרניים קטנים בהרבה עוקפים אותו בביצועים מתמטיים ודורשים שבריר מכוח החישוב. הוא מעניין בעיקר למי שרוצה לבדוק התנהגות של מיזוג מודלים ענק בסביבה סגורה.

איזה פורמט פנייה המודל דורש בקוד?

הוא עובד עם פורמט ChatML רגיל, כולל תגיות התחלה וסיום מוגדרות לשיחה. אם משתמשים בגרסת GGUF דרך Ollama, הקובץ כבר מכיל את התבנית המוכנה מראש.

איך הביצועים שלו בעברית?

אין בתיעוד שום אינדיקציה לאימון ייעודי על טקסטים בעברית. המודלים שהרכיבו אותו אומנו בעיקר באנגלית, כך שהעברית שלו צפויה להיות בסיסית ומועדת לשגיאות תחביר ותרגום.

איך מריצים

בדיוק המקורי הקבצים שוקלים 288 גיגהבייט. כדי להריץ אותו כמו שהוא צריך לפחות ארבעה כרטיסי A100 או H100 של שמונים גיגה, מה שהופך את ההרצה העצמית לחלום רחוק עבור רוב המפתחים. למי שאין שרת ייעודי כזה, קיימת גרסת GGUF מכווצת בארבעה ביט שמאפשרת לטעון אותו דרך Ollama על חומרה צנועה בהרבה, אבל עדיין תצטרכו שם זיכרון וידאו מאסיבי.

בפועל, אם אין לכם אשכול שרתים פרטי שיושב ומחכה, החזקה עצמית של מודל כזה יקרה ומסורבלת מדי. במרבית המקרים עדיף לפנות ל־API של מודל קנייני גדול מאשר לשלם אלפי דולרים בחודש רק על שרת כדי להחזיק משקל כזה באוויר.

from transformers import pipeline

pipe = pipeline("text-generation", model="abacusai/TheProfessor-155b")
print(pipe("שלום"))

הקבצים

45 קבצים במאגר, 288 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Llama 2 של חברת מטא. אפשר להשתמש בו לצרכים מסחריים כל עוד המוצר שלכם לא עובר שבע מאות מיליון משתמשים פעילים בחודש ביום השחרור, תנאי שלא מגביל כמעט אף סטארטאפ מקומי. עם זאת, נדרש לכלול את תנאי הרישיון המקוריים ולהקפיד על מדיניות השימוש המקובלת של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗