GPT
הוספת כלי
G

graphormer-base-pcqm4mv2

קוד פתוח

clefourriermit2023-01-05

  • transformers
  • pytorch
  • graphormer
  • graphs
  • graph-ml

טרנספורמר ייעודי לסיווג גרפים של מולקולות שאומן מראש על PCQM4M-LSCv2. מתאים למי שרוצה ייצוג גרפי מוכן או בסיס לכוונון עדין בלי לאמן מאפס.

  • 182 MBמשקל הקבצים
  • 1,665הורדות בחודש
  • 89לייקים

מה זה

מיקרוסופט פיתחה את ארכיטקטורת Graphormer כדי להוכיח שמודלי טרנספורמר יכולים לעבוד ישירות על נתונים גרפיים, והגרסה הזו אומנה על מאגר המולקולות PCQM4M-LSCv2. הוא לא מיועד לטקסט או לתמונות, אלא מנתח מבנים של צמתים וקשתות ומפיק מהם ייצוג וקטורי או סיווג ישיר ברמת הגרף השלם.

בגודל של 182 מגה-בייט בספריית transformers, הוא שוקל מעט מאוד ביחס לטרנספורמרים טיפוסיים. הערך העיקרי כאן הוא נקודת הפתיחה למשימות כימיה חישובית ומידול מולקולות, שבהן עדיף לקחת מודל שראה כבר מיליוני מבנים מולקולריים במקום לאמן רשת גרפית מאפס.

מתאים ל

  • מידול מולקולות

    חיזוי תכונות כימיות של מולקולות קטנות על בסיס האימון מראש מול PCQM4M-LSCv2.

  • חילוץ ייצוגים לגרפים

    הפקת וקטורים מייצגים למבני גרפים כדי להזין אותם במודלי סיווג פשוטים יותר.

  • בסיס לכוונון עדין

    נקודת התחלה מאומנת למשימות סיווג גרפי מותאמות אישית במקום אימון מורכב מאפס.

איפה זה נופל

הבעיה המרכזית שלו היא צריכת זיכרון שגדלה בחדות ברגע שמזינים גרפים גדולים ומורכבים. מנגנון הקשב של הטרנספורמר סורק קשרים בין כל הצמתים, ולכן על גרפים עמוסים מאוד המודל עלול לקרוס במהירות עם שגיאות זיכרון מסוג OOM.

בנוסף, הוא אומן על מאגר מולקולרי מוגדר, כך שאם תנסו להפעיל אותו על גרפים מסוג שונה לחלוטין כמו רשתות חברתיות או עצי קריאות קוד בלי כוונון משמעותי, התוצאות כנראה לא יהיו שימושיות.

שאלות
נפוצות

האם המודל מתאים לעיבוד טקסט חופשי?

לא, הוא נבנה עבור נתונים במבנה של גרפים בלבד. הקלט חייב להגיע כמבנה צמתים וקשתות, בעיקר בהקשר מולקולרי.

האם חייבים כרטיס מסך יקר בשביל להריץ אותו?

לא, המודל שוקל 182 מגה-בייט בלבד ורץ היטב גם על מעבד רגיל. כרטיס מסך נדרש בעיקר אם תרצו לאמן אותו מחדש על דאטה רחב.

איך מריצים

טוענים את המשקלים ישירות דרך ספריית transformers בפייתון עם הארכיטקטורה GraphormerForGraphClassification בדיוק float32. הקבצים שוקלים 182 מגה-בייט בלבד, כך שלא צריך שרת מפלצתי ואפשר להריץ אותו להסקה בקלות על כל מעבד מודרני או כרטיס מסך בסיסי עם מעט זיכרון.

אם אתם מתכננים כוונון עדין על גרפים גדולים במיוחד, כדאי להצטייד במאיץ גרפי ייעודי. בנפח כזה אין סיבה אמיתית לפנות לשירותי ענן חיצוניים או ל־API בתשלום, כי הרצה מקומית תהיה מהירה, זולה ופשוטה לתחזוקה.

from transformers import pipeline

pipe = pipeline("graph-ml", model="clefourrier/graphormer-base-pcqm4mv2")
print(pipe("שלום"))

הקבצים

4 קבצים במאגר, 182 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים וקוד סגור. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה שאתם מפיצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗