GPT
P

phi-1_5

קוד פתוח

microsoftmit2023-09-10

  • transformers
  • safetensors
  • phi
  • text-generation
  • nlp

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל שפה קומפקטי שמציג יכולות היגיון והבנה גבוהות יחסית למשקל שלו. הוא פותח בעיקר כדי לבדוק כמה ביצועים אפשר לסחוט מאימון על נתונים סינתטיים מובחרים במקום סריקה עיוורת של הרשת.

  • 1.4Bפרמטרים
  • 2,048טוקנים בהקשר
  • 2.6 GBמשקל הקבצים
  • 56,807הורדות בחודש

מה זה

מיקרוסופט אימנה כאן מודל בסיס של 1.3 מיליארד פרמטרים על גבי נתונים סינתטיים וספרי לימוד, ללא סריקה כללית של האינטרנט. המטרה הייתה להוכיח שאיכות הדאטה גוברת על כמות. בפועל, במבחני שכל ישר, היגיון לוגי והבנת שפה, הוא מתקרב לרמה של מודלים שמחזיקים עד עשרה מיליארד פרמטרים, הישג חריג למשקל כזה.

הוא מסוגל לסכם טקסטים, לכתוב שירים ומיילים, ולייצר קוד פייתון בסיסי כמו הורדת ספריות של טרנספורמרס. מכיוון שלא עבר כוונון להוראות, הוא עובד בשיטה של השלמת טקסט, כך שכדי לקבל תשובות טובות צריך לכוון אותו במבנה מוגדר של שאלות ותשובות או שיחה.

מתאים ל

  • מחקר על בטיחות מודלים

    משקל קל ומבנה בסיסי ללא סינון אנושי שמתאימים לבדיקת הטיות ורעילות.

  • השלמת קוד פייתון מקומית

    רץ ישירות על המחשב ומספק השלמות מהירות לפונקציות פשוטות.

  • בסיס לאימון עצמאי

    נקודת מוצא זולה להתאמה אישית על משימות צרות בלי משאבי ענק.

איפה זה נופל

הוא לא עבר התאמה בעזרת משוב אנושי או כוונון להוראות, ולכן הוא מתקשה לציית להנחיות מורכבות ונוטה לייצר פלט עודף ולא רלוונטי בסוף התשובה. הקוד והעובדות שהוא פולט לעיתים שגויים, והידע שלו בקוד מוגבל בעיקר לפייתון סטנדרטי. בנוסף, הוא מיועד רק לאנגלית תקנית, כך שעברית או שפות אחרות לא יעבדו כאן כמו שצריך. הכרטיס מבהיר שהוא לא נבדק לסביבת ייצור ועלול לייצר תוכן פוגעני תחת הכוונה מתאימה.

שאלות
נפוצות

האם המודל הזה עובד בעברית?

לא. המודל אומן ותוכנן להבין אנגלית תקנית בלבד. הוא לא מתאים לעיבוד עברית ואפילו סלנג באנגלית מבלבל אותו.

אפשר לשלב אותו ישירות בצ'אט בוט ללקוחות?

לא מומלץ בכלל. הוא מודל בסיס שלא עבר התאמה לשיחה או להנחיות, ולכן הוא נוטה להמציא עובדות, להוסיף טקסט מיותר ולא מבוקר, ואין לו מנגנוני סינון אנושיים.

איך מריצים

בגודל של 2.6 גיגה-בייט ודיוק חצי, אפשר להריץ אותו בקלות על כרטיס מסך ביתי בודד עם מעט זיכרון, או אפילו על מעבד רגיל דרך ספריית transformers החל מגרסה 4.37.0.

אין סיבה לשלם על שירותי ענן יקרים כדי לצרוך אותו. עם זאת, אם אתם מחפשים מענה ישיר לבקשות מורכבות בלי להנדס פרומפטים מראש, עדיף להשתמש במודל שעבר התאמה להוראות או לפנות למודל מסחרי גדול יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/phi-1_5")
print(pipe("שלום"))

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים, שינוי הקוד והפצה מחדש. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי. מיקרוסופט מציינת רק שאין להשתמש בסימני המסחר שלה באופן שמטעה או רומז על חסות מטעמה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗