vectorsearch-hub-datasets

מה זה

במקום להקים מסד נתונים וקטורי שלם, מזינים כאן מזהה של דאטהסט מתוך Hugging Face, כמו fka/awesome-chatgpt-prompts שמופיע בקוד. הממשק טוען את המאגר, מציג תצוגה מוקדמת שלו דרך אייפריים, ופותח תפריטים לבחירת החלוקה והעמודה הספציפית שרוצים לאנדקס. אחרי שמקלידים שאילתת חיפוש חופשית ומריצים, מקבלים טבלת תוצאות עם השורות הרלוונטיות ביותר.

מאחורי הקלעים רץ המודל minishlab/potion-base-8M באמצעות ספריית model2vec, שמייצרת שיכונים סטטיים קלים ומהירים במיוחד. עיבוד הנתונים והחיפוש עצמו נעשים ישירות בזיכרון המערכת בעזרת שילוב של DuckDB ו־Polars. אין כאן שמירה בדיסק או מנגנון אינדוקס קבוע, הכל נבנה מחדש בזיכרון פר הרצה.

מתאים ל

• בדיקת חיפוש בדאטהסט קיים

  הרצת שאילתות סמנטיות על מאגרים ציבוריים כדי לראות אם תוצאות החיפוש הגיוניות לפני פיתוח.

• התנסות במודלי שיכון קלים

  בדיקת היכולות והדיוק של מודל קטן מסוג potion-base-8M מול טקסטים אמיתיים.

• סינון מהיר של פרומפטים

  חיפוש רעיוני בתוך מאגרי טקסט מוכנים כמו awesome-chatgpt-prompts לפי נושאים.

איפה זה נופל

האפליקציה רצה על חומרת מעבד חלשה ומבצעת וקטוריזציה בזיכרון בכל פעם מחדש. אם תנסו לטעון מאגר נתונים ענק עם מיליוני שורות, השרת פשוט יקרוס מחוסר זיכרון או ייתקע. בנוסף, מודל של 8 מיליון פרמטרים מיועד למהירות קיצונית ולא בהכרח יבין ניואנסים עמוקים של שפה, ובטח שלא טקסטים מורכבים בעברית.

איך משתמשים

בוחרים מאגר בעזרת רכיב החיפוש, בוחרים split ועמודת טקסט מתוך התפריטים שנפתחים, כותבים שאילתה בתיבת הטקסט ולוחצים על כפתור החיפוש. המערכת מוגדרת על מעבד בסיסי ונמצאת במצב שינה, כך שההפעלה הראשונית דורשת המתנה של כדקה להתעוררות. זמן החישוב עצמו תלוי בגודל הטבלה שבחרתם, אך המודל הזעיר מקצר משמעותית את זמן יצירת הווקטורים לעומת מודלים כבדים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, העתקה ושינוי של הקוד לצרכים פרטיים ומסחריים. מאגרי הנתונים שאתם טוענים נמשכים ישירות מהאב וממשיכים להיות כפופים לרישיונות המקוריים שלהם, והאפליקציה עצמה לא שומרת עותק של המידע שהזנתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗