GPT
הוספת כלי
E

esm2_t6_8M_UR50D

קוד פתוח

facebookmit2022-09-26

  • transformers
  • pytorch
  • tf
  • safetensors
  • esm

מודל שפה לרצפי חלבונים שמיועד להשלמת מקטעים חסרים ואימון המשך. הוא שוקל פחות ממאה מגהבייט, כך שהוא נכנס בקלות לכל שרת בלי להכביד על התקציב.

  • 8Mפרמטרים
  • 1,026טוקנים בהקשר
  • 88.7 MBמשקל הקבצים
  • 559,938הורדות בחודש

מה זה

פייסבוק אימנו את המודל הזה על רצפי חלבונים במשימת שפה קלאסית של השלמת מסכות, בדומה לאופן שבו מודלי טקסט לומדים להשלים מילים חסרות במשפט. הוא מקבל רצף של חומצות אמינו עד אורך של 1,026 טוקנים, ולומד את הקשרים ביניהן דרך שש שכבות בלבד. המטרה העיקרית שלו היא לשמש נקודת מוצא להתאמה אישית, מה שנקרא פיין-טיונינג, למשימות ספציפיות שמבוססות על קלט חלבוני.

בסדרה הזו יש גרסאות ענקיות שמגיעות עד 15 מיליארד פרמטרים, והגרסה הזו היא הקטנה ביותר במשפחה עם פחות משמונה מיליון פרמטרים. המשמעות היא שאתם מקבלים כלי שרץ מהר מאוד ולא דורש משאבים כבדים, אבל מראש מוותר על רמת הדיוק והעומק של הגרסאות הגדולות יותר באותה סדרה.

מתאים ל

  • השלמת מקטעי חלבון

    חיזוי חומצות אמינו חסרות ברצף נתון באמצעות משימת המסכה המקורית שעליה אומן.

  • פיין-טיונינג קל משקל

    בסיס למודל סיווג ייעודי לרצפי חלבונים שחייב לרוץ בזול ובמהירות על חומרה בסיסית.

  • בדיקות ופיתוח מהיר

    בניית צנרת נתונים ובדיקת שילוב מודל חלבונים במערכת לפני מעבר למודלים כבדים יותר.

איפה זה נופל

הכרטיס מציין במפורש שהמודלים הגדולים בסדרה מדויקים יותר, ופה מדובר בגרסה הכי מצומצמת. שש שכבות ושמונה מיליון פרמטרים פשוט לא מסוגלים ללכוד תבניות ביולוגיות מורכבות באותה רמה. הוא לא מיועד ליצירת רצפים חדשים מאפס אלא להשלמת מסכות ואימון המשך, ורצפים ארוכים מעבר לאלף טוקנים ייחתכו בגלל מגבלת ההקשר.

שאלות
נפוצות

האם המודל הזה מתאים לעבודה עם טקסט רגיל בעברית או באנגלית?

לא. הוא אומן אך ורק על רצפי חלבונים ומזהה חומצות אמינו כטוקנים. טקסט רגיל לא יעבוד איתו בכלל.

למה לבחור בגרסה הזו ולא בגרסת ה־150M או ה־650M מאותה סדרה?

השיקול המרכזי כאן הוא משאבים ומהירות תגובה. הגרסה הזו שוקלת פחות מ־90 מגהבייט ורצה בלי בעיה על מעבד רגיל, בזמן שהגרסאות הגדולות דורשות כרטיסי מסך וזיכרון נרחב בהרבה.

איך מריצים

המשקל הכולל של הקבצים עומד על 88.7 מגהבייט בלבד, כך שלא צריך כרטיס מסך ייעודי כדי להריץ אותו. מעבד רגיל בכל מחשב פיתוח יספיק פה, והוא נתמך ישירות בספריית transformers כך שקל לחבר אותו בקוד בפייתורץ' או בטנזורפלו.

אם אתם שוקלים לקרוא ל־API חיצוני, עבור הגודל הזה אין בזה שום היגיון כלכלי או הנדסי. מריצים אותו מקומית על הברזלים שלכם. API חיצוני יהיה רלוונטי רק אם תחליטו לעבור למפלצות של 3 מיליארד או 15 מיליארד פרמטרים מאותה סדרה, שדורשות שרתים ייעודיים וכבדים.

from transformers import pipeline

pipe = pipeline("fill-mask", model="facebook/esm2_t6_8M_UR50D")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 88.7 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו הלאה ולשלב אותו במוצר סגור. התנאי היחיד הוא להשאיר את הודעת זכויות היוצרים והרישיון המקורי בקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗