BioMistral-7B-GGUF

קוד פתוח

MaziyarPanahiרישיון לא דווח2024-02-19

transformers
gguf
mistral
quantized
2-bit

גרסת GGUF מכווצת של מודל רפואי בגודל שבעה מיליארד פרמטרים. היא מיועדת למי שרוצה להריץ משימות שפה רפואיות על חומרה מקומית רגילה.

42.4 GBמשקל הקבצים
2,492הורדות בחודש
58לייקים

מה זה

המאגר הזה מכיל המרה לפורמט GGUF של המודל BioMistral-7B, שנוצר במקור על ידי צוות BioMistral. מדובר במודל שפה שאומן על בסיס ארכיטקטורת Mistral ומיועד למשימות יצירת טקסט בתחומי הרפואה ומדעי החיים.

הממיר MaziyarPanahi לקח את משקלי המקור וחילק אותם לקובצי קוונטיזציה שונים, מסוגים כמו Q2_K ועד Q6_K. במקום להחזיק משקלים כבדים בפורמט צף רגיל, הדחיסה מאפשרת להריץ מודל תחום רפואי על מעבדים ביתיים או כרטיסי מסך צרכניים דרך ספריות כמו llama.cpp.

כרטיס המודל לא מציג תוצאות מבחנים כמותיים או ציוני בנצ'מרק, כך שאי אפשר לדעת ממנו ישירות איך הוא מתפקד בהשוואה למודלים כלליים אחרים בגודל שבעה מיליארד פרמטרים.

מתאים ל

ניתוח טקסטים רפואיים
הרצה מקומית לצורך סיכום וחילוץ מידע ממאמרים רפואיים על גבי מחשב אישי.
פיתוח אפליקציות פרטיות
עיבוד מידע רגיש בתחום הבריאות במחשב מנותק מרשת, בלי לשלוח נתונים החוצה.
ניסויי שפה ביו-רפואיים
בדיקת איכות של מודל שבעה מיליארד פרמטרים מותאם תחום בתשתיות פיתוח מקומיות.

איפה זה נופל

הכרטיס הנוכחי הוא בעיקרו מדריך טכני לשימוש בקובצי GGUF, ואין בו שום מידע על נתוני האימון המקוריים, מידת ההזיות הרפואיות שלו או רמת הדיוק הקליני. אסור להסתמך עליו לקבלת החלטות רפואיות אמיתיות בלי לבצע מבחני הערכה מחמירים משלכם. בנוסף, חבילת ctransformers שהוזכרה בהוראות אינה מתוחזקת ולא מתאימה לשימוש.

שאלות
נפוצות

איזה קובץ להוריד מתוך כל הקבצים במאגר?

עבור רוב השימושים כדאי להוריד קובץ יחיד בסיומת Q4_K_M. הוא מספק פשרה מאוזנת בין מהירות ריצה, גודל בזיכרון ואיכות פלט, בלי צורך להוריד עשרות ג'יגה בייט מיותרים.

האם המודל תומך בחלון הקשר של 32 אלף טוקנים?

כן, פקודת ההרצה המוצעת מאפשרת להגדיר אורך הקשר כזה. קחו בחשבון שהגדלת ההקשר מעלה מאוד את צריכת הזיכרון, ולכן כדאי להקטין את הערך אם החומרה שלכם מוגבלת.

איך מריצים

לא מורידים את כל המאגר ששוקל מעל 42 ג'יגה בייט, אלא בוחרים קובץ בודד לפי כמות הזיכרון שיש לכם. קובץ כמו Q4_K_M דורש בערך חמישה או שישה ג'יגה בייט של זיכרון עבודה, מה שאומר שהוא ירוץ בלי בעיה על מחשב נייד מודרני או כרטיס מסך פשוט. אפשר להריץ אותו דרך כלי שורת הפקודה של llama.cpp, ממשקים כמו LM Studio, או בסקריפט פייתון עם llama-cpp-python.

אם אתם מגדירים את אורך ההקשר למקסימום של 32,768 טוקנים, תצטרכו הרבה יותר זיכרון בשביל הנתונים הזמניים. במקרים של עומס גבוה או שרתים ללא מאיצים גרפיים מתאימים, עדיף להשתמש בשרת מרוחק עם API מוכן במקום להעמיס על המכונה המקומית.

ollama run hf.co/MaziyarPanahi/BioMistral-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_07.7 GB Q6_K5.9 GB Q5_K_M5.1 GB Q5_K_S5.0 GB Q4_K_M4.4 GB Q4_K_S4.1 GB Q3_K_L3.8 GB Q3_K_M3.5 GB Q3_K_S3.2 GB Q2_K2.7 GB

הקבצים

13 קבצים במאגר, 42.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

בדף המודל לא דווח רישיון כלל. המצב הזה מציב סיכון משפטי ברור, כי לא ידוע מה תנאי השימוש המקוריים של יוצרי BioMistral או אילו הגבלות חלות על שימוש מסחרי, הפצה והטמעה במוצר פעיל.

הרישיון המלא בעמוד המודל ↗