Triplex

מה זה

הבסיס כאן הוא Phi3 בגודל של כמעט 4 מיליארד פרמטרים, אבל SciPhi אימנו אותו לפעולה ממוקדת אחת: הפיכת טקסט חופשי לשלשות של נושא, נשוא ומושא עבור גרפי ידע. בצירוף חלון הקשר של מעל 131 אלף טוקנים, הוא אמור לבלוע מסמכים ארוכים ולבנות מהם מבנה נתונים מקושר.

במקום לשלוח טקסטים ענקיים ל־GPT-4 ולשלם הון על כל מסמך בצינורות כמו Graph RAG, המודל הזה מתיימר לחתוך 98 אחוז מעלויות הבנייה. היוצרים טוענים שהוא מציג ביצועים עדיפים על GPT-4 במשימת החילוץ הזו בחלקיק מהעלות, מה שמאפשר להריץ את כל תהליך המיפוי מקומית בלי לפשוט רגל.

מתאים ל

• בניית Graph RAG

  חילוץ ישויות וקשרים ממאגרי מסמכים כדי לשפר דיוק של מערכות אחזור מידע.

• מיפוי ישויות מטקסט

  המרת מאמרים ודוחות ארוכים לשלשות מובנות של נושא, נשוא ומושא.

• עיבוד נתונים מקומי וזול

  הרצה מקומית על כרטיס בודד במקום שליחת מיליוני טוקנים למודלים מסחריים יקרים.

איפה זה נופל

זה לא מודל שיחה כללי, ולא הייתי מנסה להשתמש בו לכתיבה יוצרת, קוד או מענה על שאלות. כל הכוונון שלו נועד לחילוץ ישויות ויחסים בלבד, ולכן הוא יזייף בכל משימה אחרת. בנוסף, חלון הקשר המלא של 131 אלף טוקנים ידרוש משאבי זיכרון כבדים מאוד בפועל, הרבה מעבר למשקל הבסיסי של הקבצים.

איך מריצים

המשקל הכולל של הקבצים עומד על 9.3 גיגהבייט בפורמט bfloat16, כך שכרטיס מסך ביתי מודרני עם 12 או 16 גיגהבייט זיכרון יחזיק אותו בלי בעיה. הוא רץ ישירות דרך ספריית transformers בפייתון ומשתלב עם חבילת R2R של המפתחים.

אם יש לכם כרטיס מתאים ואתם מעבדים כמויות גדולות של טקסט, שווה להריץ אותו אצלכם כדי להימנע מעלויות קריאה לשירותים חיצוניים. מצד שני, אם מדובר במשימה חד־פעמית של כמה עשרות עמודים, ההתעסקות עם הגדרת הסביבה והחומרה כנראה מיותרת לעומת שימוש ב־API קיים.

ollama run hf.co/SciPhi/Triplex:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 9.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors2.7 GB
• quantized_model-Q4_K_M.gguf2.4 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json16.3 KB
• README.md3.9 KB
• config.json3.5 KB
• tokenizer_config.json3.4 KB
• .gitattributes1.6 KB
• special_tokens_map.json563 B
• added_tokens.json293 B
• generation_config.json177 B

הרישיון

הרישיון המוגדר הוא cc-by-nc-sa-4.0, כלומר שימוש אישי ומחקרי בלבד עם חובת שיתוף זהה. יחד עם זאת, היוצרים מציינים שהם מוותרים על המגבלה המסחרית לחברות עם הכנסה שנתית של פחות מ־5 מיליון דולר. אם העסק שלכם מכניס יותר מזה, תצטרכו לפנות אליהם כדי לקבל רישיון מתאים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗