granitelib-rag-r1.0

מה זה

המאגר הזה כולל שישה מתאמי LoRA וגרסאות aLoRA עבור מודלי הבסיס מסדרת Granite, החל מגרסת המיקרו ועד 30B. כל מתאם נבנה למשימה בודדת בתוך צינור עבודה מבוסס סוכנים: שכתוב שאילתות של משתמש כדי שיהיו עצמאיות, זיהוי מקרים שדורשים הבהרה מול המשתמש, סיווג רלוונטיות של פסקאות מידע, בדיקה אם המידע בכלל מספיק למתן תשובה, זיהוי הזיות ברמת המשפט הבודד ויצירת ציטוטים מתוך הטקסט התומך.

הגישה כאן מפצלת את הטיפול ברכיבי RAG לרכיבים קטנים שאפשר להפעיל לפני השליפה, לפניה היצירה או מיד אחריה. התוצאה היא יכולת להחליף מודלים כלליים כבדים במודלים קטנים יותר שמכוונים בדיוק למשימת הבקרה שלהם, עם חתימות דיגיטליות שמוודאות את מקור הקבצים.

מתאים ל

• שכתוב שאלות לפני שליפה

  מנקה את תלות השאלה בהיסטוריית השיחה ומייצר שאילתה עצמאית שמשפרת את דיוק מנוע החיפוש.

• בקרת איכות ומניעת הזיות

  בוחן כל משפט בתשובה מול הפסקאות שנשלפו וקובע טווח סיכון להזיה לפני שהטקסט מגיע למשתמש.

• הצמדת ציטוטים לתשובות

  ממפה משפטים ספציפיים מתוך חומר המקור אל התשובה שנוצרה, גם אם היא הופקה על ידי מודל אחר.

איפה זה נופל

המתאמים אומנו על אנגלית בלבד, כך שבלי בדיקה מעמיקה הם לא יעבדו בצורה אמינה על שאילתות או מסמכים בעברית. בנוסף, חלוקת העבודה לשישה מתאמים שונים מוסיפה השהייה ניכרת לכל קריאה אם מריצים אותם בזה אחר זה, ומתאם הרלוונטיות זמין רק עבור מודל המיקרו. הכרטיס אינו כולל ציוני ביצועים או מדדי דיוק מספריים, כך שאי אפשר לדעת מראש מה שיעור הפספוסים בזיהוי הזיות או בשכתוב.

איך מריצים

לא מדובר במודל יחיד שעולה לזיכרון ופולט תשובה, אלא באוסף משקלים שצריך לטעון מעל מודלי הבסיס של Granite באמצעות ספריית מודלים או שלד המערכת Mellea. משקל הקבצים הכולל הוא 13.5 גיגה-בייט שמפוזרים על פני 246 קבצים, כך שגודל החומרה תלוי לחלוטין במודל הבסיס שבוחרים להריץ, ממיקרו ועד 30B.

אם אתם צריכים רק שלב בודד, כמו שכתוב שאילתה, אפשר להסתפק בחומרה צנועה עבור המודלים הקטנים. שרשור של כמה מתאמים יחד באותו תהליך דורש ניהול זיכרון וטעינת משקלים דינמית, ובמצב כזה קריאה לשרת ייעודי או שירות מרוחק תחסוך את כאב הראש התשתיתי.

ollama run hf.co/ibm-granite/granitelib-rag-r1.0:BF16

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

246 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• query_clarification/granite-4.1-30b/alora/adapter_model.safetensors1.1 GB
• query_clarification/granite-4.1-30b/lora/adapter_model.safetensors1.1 GB
• query_rewrite/granite-4.1-30b/alora/adapter_model.safetensors1.1 GB
• query_rewrite/granite-4.1-30b/lora/adapter_model.safetensors1.1 GB
• answerability/granite-4.1-30b/alora/adapter_model.safetensors562.2 MB
• answerability/granite-4.1-30b/lora/adapter_model.safetensors562.2 MB
• citations/granite-4.1-30b/lora/adapter_model.safetensors562.2 MB
• hallucination_detection/granite-4.1-30b/lora/adapter_model.safetensors562.2 MB
• query_clarification/granite4.1_30b/lora/Lora-bf16.gguf562.1 MB
• query_rewrite/granite4.1_30b/lora/Lora-bf16.gguf562.1 MB
• query_clarification/granite-4.1-8b/alora/adapter_model.safetensors395.9 MB
• query_clarification/granite-4.1-8b/lora/adapter_model.safetensors395.9 MB
• query_rewrite/granite-4.1-8b/alora/adapter_model.safetensors395.9 MB
• query_rewrite/granite-4.1-8b/lora/adapter_model.safetensors395.9 MB
• answerability/granite4.1_30b/lora/Lora-bf16.gguf281.1 MB
• citations/granite4.1_30b/lora/Lora-bf16.gguf281.1 MB
• hallucination_detection/granite4.1_30b/lora/Lora-bf16.gguf281.1 MB
• query_clarification/granite-4.1-3b/alora/adapter_model.safetensors249.1 MB
• query_clarification/granite-4.1-3b/lora/adapter_model.safetensors249.1 MB
• query_rewrite/granite-4.1-3b/alora/adapter_model.safetensors249.1 MB
• query_rewrite/granite-4.1-3b/lora/adapter_model.safetensors249.1 MB
• query_clarification/granite-4.0-micro/lora/adapter_model.safetensors236.0 MB
• answerability/granite-4.1-8b/alora/adapter_model.safetensors198.0 MB
• answerability/granite-4.1-8b/lora/adapter_model.safetensors198.0 MB
• hallucination_detection/granite-4.1-8b/lora/adapter_model.safetensors198.0 MB
• query_clarification/granite4.1_8b/lora/Lora-bf16.gguf198.0 MB
• query_rewrite/granite4.1_8b/lora/Lora-bf16.gguf198.0 MB
• hallucination_detection/granite-4.0-micro/lora/adapter_model.safetensors180.9 MB
• answerability/granite-4.1-3b/alora/adapter_model.safetensors124.6 MB
• answerability/granite-4.1-3b/lora/adapter_model.safetensors124.6 MB
• hallucination_detection/granite-4.1-3b/lora/adapter_model.safetensors124.6 MB
• query_clarification/granite4.1_3b/lora/Lora-bf16.gguf124.6 MB
• query_clarification/granite4_micro/lora/Lora-bf16.gguf124.6 MB
• query_rewrite/granite4.1_3b/lora/Lora-bf16.gguf124.6 MB
• answerability/granite4.1_8b/lora/Lora-bf16.gguf99.0 MB
• hallucination_detection/granite4.1_8b/lora/Lora-bf16.gguf99.0 MB
• hallucination_detection/granite4_micro/lora/Lora-bf16.gguf97.0 MB
• citations/granite-4.1-8b/lora/adapter_model.safetensors68.2 MB
• answerability/granite4.1_3b/lora/Lora-bf16.gguf62.3 MB
• hallucination_detection/granite4.1_3b/lora/Lora-bf16.gguf62.3 MB

הרישיון

רישיון Apache 2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה שלהם בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗