GPT
הוספת כלי
P

Poro-34B

קוד פתוח

LumiOpenapache-2.02023-10-19

  • transformers
  • safetensors
  • bloom
  • text-generation
  • fi

מודל בסיס שנועד בעיקר למי שצריך שילוב של פינית, אנגלית וקוד. אם פינית לא מעניינת את המוצר שלכם, כנראה שאין לכם מה לחפש כאן.

  • 34Bפרמטרים
  • 63.7 GBמשקל הקבצים
  • 396הורדות בחודש
  • 118לייקים

מה זה

המודל מבוסס על ארכיטקטורת BLOOM וכולל כ־34.2 מיליארד פרמטרים שאומנו על טריליון טוקנים. החלוקה של הדאטה ממוקדת: קצת יותר מחצי באנגלית (SlimPajama), כמעט שליש של קוד (Starcoder), וכ־13 אחוזים של טקסטים בפינית ממאגרי חדשות, ויקיפדיה ופורומים מקומיים. הוא משתמש ב־ALiBi כדי לאפשר חריגה מאורך ההקשר הבסיסי שעומד על 2048 טוקנים.

המטרה כאן הייתה ליצור כלי פתוח שמנצח מודלים ייעודיים קודמים בפינית על ידי ערבוב עם אנגלית וקוד, כולל יכולת תרגום בסיסית בין השפות האלו. המפתחים עצמם מבהירים שמדובר בגרסת מחקר מוקדמת ובמודל בסיס, כך שהוא לא עבר התאמות שיחה או יישור לפי הוראות.

מתאים ל

  • עיבוד טקסט בפינית

    הוא אומן על 131 מיליארד טוקנים בפינית מגוונת, כולל חדשות ורשת.

  • תרגום אנגלית ופינית

    כולל נתוני צמדי משפטים ייעודיים לתרגום ישיר בין שתי השפות.

  • בסיס לכוונון קוד מקומי

    שליש מנתוני האימון הוקדשו לקוד לצד תמיכה בשפה הפינית.

איפה זה נופל

אין למודל שום שליטה בעברית או בשפות אחרות מחוץ לאנגלית ופינית, והוא לא יבין אותן בצורה משמעותית. מעבר לזה, זה מודל בסיס ולא מודל שיחה, כך שהוא לא יודע לקבל הוראות מורכבות בלי כוונון עדין נוסף. אורך ההקשר הטבעי קצר יחסית ועומד על 2048 טוקנים בלבד, והיוצרים מציינים במפורש שהוא עלול לייצר מידע שגוי, מוטה או פוגעני בהתאם לדאטה שנאסף מהרשת.

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

לא. המודל אומן רק על אנגלית, פינית וקוד. אין לו שום יכולת או תמיכה מובנית בעברית, ולכן הוא לא מתאים לעיבוד שפה מקומית בישראל.

האם אפשר להשתמש בו כצ'אטבוט מוכן?

לא באופן ישיר. מדובר במודל בסיס להשלמת טקסט, לא במודל שעבר אימון לתשובות בשיחה. תצטרכו לאמן אותו בעצמכם על דאטה של הוראות לפני שתוכלו להריץ איתו צ'אט.

איך מריצים

כדי לטעון 34 מיליארד פרמטרים בדיוק bfloat16 מלא צריך משהו כמו 70 עד 80 גיגה-בייט של זיכרון וידאו, מה שאומר לפחות שני כרטיסי A100 או H100 של 80 גיגה-בייט, או ארבעה כרטיסי 24 גיגה-בייט. הקבצים עצמם שוקלים 63.7 גיגה-בייט ונטענים ישירות דרך ספריית transformers הרגילה.

המפתחים שמרו נקודות ביקורת לאורך האימון כל 100 מיליארד טוקנים, מענף 100B ועד 1000B שמוגדר כברירת מחדל. אם אין לכם שרת ייעודי או שאתם רק רוצים לבדוק תרגום, להחזיק תשתית כזאת יעלה לא מעט כסף, במיוחד כשאין גרסאות מכווצות מראש בחבילה הרשמית.

from transformers import pipeline

pipe = pipeline("text-generation", model="LumiOpen/Poro-34B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 63.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות, להפיץ אותם מחדש ולשלב במוצרים סגורים. התנאי היחיד הוא שמירה על זכויות היוצרים וצירוף עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗