Difference between revisions of "Búsqueda libre sobre archivos TXT"
| Line 33: | Line 33: | ||
| Métrica || Despliega la frecuencia de cada palabra utilizada en el documento. Si se hace clic en cualquiera de ellas se presenta la localización de esa palabra en todo el documento | | Métrica || Despliega la frecuencia de cada palabra utilizada en el documento. Si se hace clic en cualquiera de ellas se presenta la localización de esa palabra en todo el documento | ||
|- | |- | ||
| − | | Nueva búsqueda || Seleccione un texto en los resultados presentados y | + | | Página xx || Con cada párrafo presentado se muestra el número de la página donde fue localizado. Al dar clic sobre el vínculo se abre una ventana que presenta la página completa y permite navegar a través de las páginas del documento. |
| + | |- | ||
| + | | Nueva búsqueda || Seleccione un texto en los resultados presentados y utilice la selección para definir una nueva búsqueda en el repositorio de documentos | ||
|} | |} | ||
|- | |- | ||
| Line 45: | Line 47: | ||
|} | |} | ||
| + | == Base de datos para optimizar la localización de documentos == | ||
| − | + | A fin de optimizar el tiempo de respuesta se define un base de datos BIGISIS con dos campos: | |
| + | # Nombre del archivo txt | ||
| + | # Directorio donde se encuentra almacenado | ||
| − | El | + | El objetivo de esta base de datos es crear un archivo invertido con todas las palabras extraidas desde los archivos TXT, utilizando el siguiente formato en la Fst: |
| + | 100 8 MPU, '/TW_/' s(cat('/abcd/www/htdocs/pdf2text/'v20,v10)) | ||
| − | + | De esta forma no es necesario cargar los txt en la base de datos. | |
| − | + | Cuando el usuario suministra los términos de búsqueda, se construye una expresion concatenando las palabras con el operador '''and'''. El resultado de la búsqueda proporciona una lista con los nombres de los documentos que requieren ser procesados para determinar la proximidad de los términos solicitados. En este particular el tiempo de respuesta sería muy eficiente si se pudiera implementar una búsqueda proximidad en lugar de un '''and'''. Se ha intentado recuperar los postings para determinar la proximidad de los terminos usando un script .php pero el tiempo de recuperación de todos los postings de un términos a efectos del análisis de proximidad no ha podido ser optimizado todavía. | |
| − | + | En lugar de este archivo tambíén pudiera utilizarse directamente un base de datos bibliográfica siempre y cuando la versión de isis utilizada permita generar muchos postings y procesar adecuadamente la sentencia '''CAT'''. Por ejemplo, nos hemos encontrado con que algunas versiones no aplican las tablas isisuc.tab e isisac.tab sobre el resultado del '''CAT''' con el consiguiente problema con los diacríticos y el stw. Esta también fue una de las razones por la cual se seleccionó el BIGISIS. | |
| − | + | Se puede proveer un editor TXT para realizar correcciones sobre estos archivos. Los TXT pueden cargarse a través de script que analiza una carpeta y crea los registros en la base de datos correspondiente. También puede utilizarse una base de datos ABCD con documentos vinculados. En este caso existe un proceso que lee los documentos vinculados (Pdf o Word) y los convierte a archivos TXT. Esta previsto incorporar al módulo de catalogación de ABCD los enlaces necesarios para la conversión y tratamiento de los documentos vinculados a estos efectos. | |
| − | |||
| − | + | == Búsqueda Libre == | |
| − | |||
| − | |||
| + | Dado que la localización es por proximidad no importa el orden como figuren las palabras en la frase. Además la búsqueda es transparente al uso de acentos, mayúsculas o minúsculas. | ||
| − | + | Los documentos resultantes de la búsqueda descrita en el paso anterior son procesados para filtrar solo aquellos que cumplan con el criterio de proximidad de los términos y a éstos de les calcula la frecuencia de los términos solicitados para determinar la relevancia del documento. | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | . | + | Los resultados se presentan ordenados en orden decreciente de relevancia. La página de resultados contiene los elementos ya descritos al inicio de este documento. |
Revision as of 14:25, 24 April 2019
Tiene como finalidad realizar una búsqueda libre sobre archivos TXT generados a partir de conversión de documentos PDF o Word a un formato plano. Igualmente pueden utilizarse archivos de audio procesados por un traductor de Mp3 a Txt. En el caso de documentos PDF o Word se provee un convertidor para generar los equivalente TXT de estos documentos.
Los archivos TXT se mantiene en una o varias carpetas y desde ahí son procesados para aplicar una búsqueda por proximidad de los términos solicitados. Los resultados se presentan ordenados por relevancia, aplicando las fórmulas y criterios establecidos en http://www.tfidf.com/
Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp
En este ejemplo se solicitó ubicar los términos democracia participativa en una estructura consistente de 8 carpetas con un total de 3386 archivos TXT. La página de resultados contiene los siguientes elementos:
| Buscar | Recuadro donde se incluyen los terminos que se desea localizar | ||||||||
| Explorar términos | Provee acceso al diccionario de términos de una base de datos asociada a los documentos | ||||||||
| Explorar palabras | Presenta la lista de palabras que han sido extraídas de los archivos txt | ||||||||
| Separación mínima | Indica cuantas palabras de separación (proximidad) debe existir entre los términos solicitados | ||||||||
| Leídos | Número total de archivos TXT existente | ||||||||
| Localizados | Número de archivos que tienen los términos solicitados con la proximidad requerida | ||||||||
| Tiempo de ejecución | Tiempo invertido en la búsqueda | ||||||||
| Frecuencia de los términos | Para cada término solicitado indica el número de veces que aparece el mismo en todos los archivos del repositorio TXT. Esta frecuencia es utilizada posteriormente para evaluar la relevancia del documento respecto a la búsqueda (ver http://www.tfidf.com/) | ||||||||
| Resultados ordenados por relevancia | Se leen todos los documentos para determinar la frecuencia de los términos solicitados en todo el repositorio. Luego se procesa cada documento que contenga los términos, se obtiene de palabras del documento, la frecuencia de las requeridos y con esa información se calcula la relevancia. Los documentos seleccionados se clasifican en orden descendiente de relevancia y se presentan al usuario | ||||||||
| Opciones para navegar en los documentos |
| ||||||||
| Ejemplo | Ejemplo | ||||||||
| Ejemplo | Ejemplo | ||||||||
| Ejemplo | Ejemplo | ||||||||
| Ejemplo | Ejemplo, |
Base de datos para optimizar la localización de documentos
A fin de optimizar el tiempo de respuesta se define un base de datos BIGISIS con dos campos:
- Nombre del archivo txt
- Directorio donde se encuentra almacenado
El objetivo de esta base de datos es crear un archivo invertido con todas las palabras extraidas desde los archivos TXT, utilizando el siguiente formato en la Fst:
100 8 MPU, '/TW_/' s(cat('/abcd/www/htdocs/pdf2text/'v20,v10))
De esta forma no es necesario cargar los txt en la base de datos.
Cuando el usuario suministra los términos de búsqueda, se construye una expresion concatenando las palabras con el operador and. El resultado de la búsqueda proporciona una lista con los nombres de los documentos que requieren ser procesados para determinar la proximidad de los términos solicitados. En este particular el tiempo de respuesta sería muy eficiente si se pudiera implementar una búsqueda proximidad en lugar de un and. Se ha intentado recuperar los postings para determinar la proximidad de los terminos usando un script .php pero el tiempo de recuperación de todos los postings de un términos a efectos del análisis de proximidad no ha podido ser optimizado todavía.
En lugar de este archivo tambíén pudiera utilizarse directamente un base de datos bibliográfica siempre y cuando la versión de isis utilizada permita generar muchos postings y procesar adecuadamente la sentencia CAT. Por ejemplo, nos hemos encontrado con que algunas versiones no aplican las tablas isisuc.tab e isisac.tab sobre el resultado del CAT con el consiguiente problema con los diacríticos y el stw. Esta también fue una de las razones por la cual se seleccionó el BIGISIS.
Se puede proveer un editor TXT para realizar correcciones sobre estos archivos. Los TXT pueden cargarse a través de script que analiza una carpeta y crea los registros en la base de datos correspondiente. También puede utilizarse una base de datos ABCD con documentos vinculados. En este caso existe un proceso que lee los documentos vinculados (Pdf o Word) y los convierte a archivos TXT. Esta previsto incorporar al módulo de catalogación de ABCD los enlaces necesarios para la conversión y tratamiento de los documentos vinculados a estos efectos.
Búsqueda Libre
Dado que la localización es por proximidad no importa el orden como figuren las palabras en la frase. Además la búsqueda es transparente al uso de acentos, mayúsculas o minúsculas.
Los documentos resultantes de la búsqueda descrita en el paso anterior son procesados para filtrar solo aquellos que cumplan con el criterio de proximidad de los términos y a éstos de les calcula la frecuencia de los términos solicitados para determinar la relevancia del documento.
Los resultados se presentan ordenados en orden decreciente de relevancia. La página de resultados contiene los elementos ya descritos al inicio de este documento.
