rag-token-nq

מה זה

הארכיטקטורה כאן מחברת שלושה חלקים שונים לכדי מנגנון אחד: מקודד שאלות, רכיב שליפה ומודל יצירת טקסט. הרכיב שמחפש מידע מתבסס על DPR כדי למשוך קטעים מתוך מאגר וויקיפדיה, ומודל השפה שמייצר את התשובה מבוסס על BART-Large. שניהם עברו אימון משותף מקצה לקצה על גבי מאגר השאלות והתשובות של Natural Questions.

בניגוד למודלי שפה שמנסים לזכור הכל בתוך המשקולות שלהם, כאן הרעיון הוא לשלוף פסקאות רלוונטיות בזמן אמת ולייצר את התשובה טוקן אחרי טוקן בהתבסס עליהן. כל האותיות הגדולות באנגלית מומרות אוטומטית לאותיות קטנות, כך שאין צורך לדאוג לגבי תאימות אותיות בריצת הטקסט.

מתאים ל

• שאלות טריוויה ועובדות באנגלית

  שליפת עובדות סגורות מתוך מאגר וויקיפדיה באנגלית, בלי להמציא פרטים.

• בדיקת היתכנות לארכיטקטורת RAG

  הרצה מקומית עם אינדקס דמה כדי לבחון איך עובד חיבור בין שליפה ליצירת טקסט.

• מחקר על מודלי שפה משולבי שליפה

  בחינת הביצועים של אימון משותף בין מקודד השאלות למחולל הטקסט BART.

איפה זה נופל

הכלי מיועד אך ורק לאנגלית, כך שלעברית אין מה לנסות להשתמש בו. בנוסף, מדובר במודל שפורסם במרץ 2022 והוא מוגבל אך ורק למענה על שאלות עובדתיות קצרות. השליפה תלויה במאגר וויקיפדיה ספציפי וישן שהוזן אליו באימון, כך שכל עובדה שהשתנתה מאז פשוט לא תהיה נכונה. גם עניין הזיכרון פוסל אותו עבור הרצה מקומית על מחשב אישי רגיל.

איך מריצים

מבחינת משקל המודל מדובר על 3.8 גיגה בייט בקבצים, שמריצים ישירות דרך ספריית transformers בפייתון. זה קל יחסית ורץ בלי בעיה על מעבד גרפי סטנדרטי או אפילו על זיכרון עבודה פשוט.

הבעיה האמיתית מתחילה כשמנסים להשתמש באינדקס השליפה המלא. לפי התיעוד, אינדקס הוויקיפדיה המלא דורש מעל 75 גיגה בייט של זיכרון RAM. אם אין לכם שרת ייעודי חזק עם מספיק זיכרון בשביל להחזיק את האינדקס הזה, תיאלצו להסתפק בגרסת הדמה המצומצמת לצורכי בדיקות, או לפנות לפתרונות שליפה אחרים.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/rag-token-nq")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h52.1 GB
• pytorch_model.bin2.1 GB
• generator_tokenizer/vocab.json898.8 KB
• generator_tokenizer/merges.txt456.3 KB
• question_encoder_tokenizer/vocab.txt231.5 KB
• config.json4.6 KB
• README.md1.7 KB
• generator_tokenizer/special_tokens_map.json772 B
• .gitattributes345 B
• question_encoder_tokenizer/special_tokens_map.json112 B
• question_encoder_tokenizer/tokenizer_config.json48 B
• generator_tokenizer/tokenizer_config.json26 B

הרישיון

הרישיון הוא apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗