Búsqueda libre sobre archivos TXT - Revision history

Guilda at 20:43, 25 April 2019

2019-04-25T20:43:15Z

Guilda at 18:29, 24 April 2019

2019-04-24T18:29:16Z

Guilda at 18:27, 24 April 2019

2019-04-24T18:27:02Z

Guilda at 18:25, 24 April 2019

2019-04-24T18:25:55Z

Guilda at 13:05, 17 April 2019

2019-04-17T13:05:00Z

Guilda at 02:18, 17 April 2019

2019-04-17T02:18:31Z

Guilda at 01:48, 17 April 2019

2019-04-17T01:48:32Z

Guilda: Guilda movió la página Búsqueda libre sobre PDF's a Búsqueda libre sobre archivos TXT sin dejar una redirección

2019-04-17T01:31:43Z

Guilda movió la página Búsqueda libre sobre PDF's a Búsqueda libre sobre archivos TXT sin dejar una redirección

Guilda at 18:41, 13 March 2019

2019-03-13T18:41:15Z

Guilda at 18:39, 13 March 2019

2019-03-13T18:39:42Z

@@ Line 3: / Line 3: @@
 Los archivos TXT se mantiene en una o varias carpetas y desde ahí son procesados para aplicar una búsqueda por proximidad de los términos solicitados. Los resultados se presentan ordenados por relevancia, aplicando las fórmulas y criterios establecidos en http://www.tfidf.com/
-Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=socialismo+siglo+xxi&ifp=ifp
+'''Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=socialismo+siglo+xxi&ifp=ifp'''
 En este ejemplo se solicitó ubicar los términos '''socialismo siglo XXI''' en una estructura consistente de 8 carpetas con un total de 3386 archivos TXT. La página de resultados contiene los siguientes elementos:

@@ Line 38: / Line 38: @@
 | Nueva búsqueda || Seleccione un texto en los resultados presentados y  utilice la selección para definir una nueva búsqueda en el repositorio de documentos
 |}
-|-
 |}

@@ Line 3: / Line 3: @@
 Los archivos TXT se mantiene en una o varias carpetas y desde ahí son procesados para aplicar una búsqueda por proximidad de los términos solicitados. Los resultados se presentan ordenados por relevancia, aplicando las fórmulas y criterios establecidos en http://www.tfidf.com/
-Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp
+Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=socialismo+siglo+xxi&ifp=ifp
 {| class="wikitable"
 |-

@@ Line 33: / Line 33: @@
 | Métrica || Despliega la frecuencia de cada palabra utilizada en el documento. Si se hace clic en cualquiera de ellas se presenta la localización de esa palabra en todo el documento
 |-
-| Nueva búsqueda || Seleccione un texto en los resultados presentados y con el botón derecho utilice la selección para definir una nueva búsqueda en el repositorio de documentos
+| Página xx || Con cada párrafo presentado se muestra el número de la página donde fue localizado.  Al dar clic sobre el vínculo se abre una ventana que presenta la página completa y permite navegar a través de las páginas del documento.
 |}
 |-
@@ Line 45: / Line 47: @@
 |}
-== Extraer el texto de los documentos PDF o Word ==
+A fin de optimizar el tiempo de respuesta se define un base de datos BIGISIS con dos campos:
-El documento PDF es procesado y se crea un archivo .txt contentivo de la versión ANSI de dicho documento.  Aún cuando se podría realizar la extracción de texto en el mismo proceso de búsqueda, este paso previo se justifica por cuanto incrementa la velocidad de respuesta al momento de la búsqueda libre. El resultado final será una carpeta con los archivos .txt obtenidos.
+El objetivo de esta base de datos es crear un archivo invertido con todas las palabras extraidas desde los archivos TXT, utilizando el siguiente formato en la Fst:
-== Búsqueda Libre ==
+De esta forma no es necesario cargar los txt en la base de datos.
-Este proceso trabaja sobre los archivos .txt obtenidos en el paso anterior. Para su ejecución solicita hasta 2 palabras a ser localizadas y la separación que debe existir entre ellas, la cual se expresa en el número máximo de espacios que deben figurar entre las palabras requeridas. Por ejemplo, si la separación es 1 las palabras deben estar contiguas (separadas por un espacio) ... y así sucesivamente.
+Cuando el usuario suministra los términos de búsqueda, se construye una expresion concatenando las palabras con el operador '''and'''. El resultado de la búsqueda proporciona una lista con los nombres de los documentos que requieren ser procesados para determinar la proximidad de los términos solicitados. En este particular el tiempo de respuesta sería muy eficiente si se pudiera implementar una búsqueda proximidad en lugar de un '''and'''.  Se ha intentado recuperar los postings para determinar la proximidad de los terminos usando un script .php pero el tiempo de recuperación de todos los postings de un términos a efectos del análisis de proximidad no ha podido ser optimizado todavía.
-Dado que la localización es por proximidad no importa el orden como figuren las palabras en la frase. Además la búsqueda es transparente al uso de acentos, mayúsculas o minúsculas.
+En lugar de este archivo tambíén pudiera utilizarse directamente un base de datos bibliográfica siempre y cuando la versión de isis utilizada permita generar muchos postings y procesar adecuadamente la sentencia '''CAT'''.  Por ejemplo, nos hemos encontrado con que algunas versiones no aplican las tablas isisuc.tab e isisac.tab sobre el resultado del '''CAT''' con el consiguiente problema con los diacríticos y el stw. Esta también fue una de las razones por la cual se seleccionó el BIGISIS.
-El resultado de la búsqueda libre presenta los párrafos donde se localizaron los términos solicitados, indicando el número de página dentro del documento PDF donde se ubica el párrafo. Se provee además un enlace al PDF localizado.
+Se puede proveer un editor TXT para realizar correcciones sobre estos archivos. Los TXT pueden cargarse a través de script que analiza una carpeta y crea los registros en la base de datos correspondiente.  También puede utilizarse una base de datos ABCD con documentos  vinculados. En este caso existe un proceso que lee los documentos vinculados (Pdf o Word) y los convierte a archivos TXT. Esta previsto incorporar al módulo de catalogación de ABCD los enlaces necesarios para la conversión y tratamiento de los documentos vinculados a estos efectos.
-     Leidos: 3812 documentos
+== Búsqueda Libre ==
-== Estructura de la demostración ==
+Los documentos resultantes de la búsqueda descrita en el paso anterior son procesados para filtrar solo aquellos que cumplan con el criterio de proximidad de los términos y a éstos de les calcula la frecuencia de los términos solicitados para determinar la relevancia del documento.
-... y otras opciones que puedan ser agregadas por sugerencia de los usuarios.
+Los resultados se presentan ordenados en orden decreciente de relevancia. La página de resultados contiene los elementos ya descritos al inicio de este documento.

@@ Line 5: / Line 5: @@
 Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp
-En este ejemplo se solicitó ubicar los términos '''democracia participativa''' en una estructura consistente de 8 carpetas con un total de 3386 archivos TXT. La página contiene los siguientes elementos:
+En este ejemplo se solicitó ubicar los términos '''democracia participativa''' en una estructura consistente de 8 carpetas con un total de 3386 archivos TXT. La página de resultados contiene los siguientes elementos:
 {| class="wikitable"
 |-
@@ Line 22: / Line 22: @@
 | Tiempo de ejecución || Tiempo invertido en la búsqueda
 |-
-| Frecuencia de los términos|| Para cada término solicitado indica el número de veces que aparece el mismo en '''todos''' los archivos txt leídos. Esta frecuencia es utilizada posteriormente para evaluar la relevancia del documento (ver http://www.tfidf.com/)
+| Frecuencia de los términos|| Para cada término solicitado indica el número de veces que aparece el mismo en '''todos''' los archivos del repositorio TXT. Esta frecuencia es utilizada posteriormente para evaluar la relevancia del documento respecto a la búsqueda (ver http://www.tfidf.com/)
 |-
-| Resultados por órden de rele || Ejemplo
+| Resultados ordenados por relevancia || Se leen todos los documentos para determinar la frecuencia de los términos solicitados en todo el repositorio. Luego se procesa cada documento que contenga los términos, se obtiene de palabras del documento, la frecuencia de las requeridos y con esa información se calcula la relevancia. Los documentos seleccionados se clasifican en orden descendiente de relevancia y se presentan al usuario
 |-
-| Ejemplo || Ejemplo
+| Opciones para navegar en los documentos ||
 |-
 | Ejemplo || Ejemplo
@@ Line 34: / Line 42: @@
 | Ejemplo || Ejemplo
 |-
-| Ejemplo || Ejemplo
+| Ejemplo || Ejemplo,
 |}

← Older revision		Revision as of 02:18, 17 April 2019
Line 4:		Line 4:

	Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp		Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp
		+
		+	En este ejemplo se solicitó ubicar los términos '''democracia participativa''' en una estructura consistente de 8 carpetas con un total de 3386 archivos TXT. La página contiene los siguientes elementos:
		+	{\| class="wikitable"
		+	\|-
		+	\| Buscar \|\| Recuadro donde se incluyen los terminos que se desea localizar
		+	\|-
		+	\| Explorar términos \|\| Provee acceso al diccionario de términos de una base de datos asociada a los documentos
		+	\|-
		+	\| Explorar palabras \|\| Presenta la lista de palabras que han sido extraídas de los archivos txt
		+	\|-
		+	\| Separación mínima \|\| Indica cuantas palabras de separación (proximidad) debe existir entre los términos solicitados
		+	\|-
		+	\| Leídos \|\| Número total de archivos TXT existente
		+	\|-
		+	\| Localizados \|\| Número de archivos que tienen los términos solicitados con la proximidad requerida
		+	\|-
		+	\| Tiempo de ejecución \|\| Tiempo invertido en la búsqueda
		+	\|-
		+	\| Frecuencia de los términos\|\| Para cada término solicitado indica el número de veces que aparece el mismo en '''todos''' los archivos txt leídos. Esta frecuencia es utilizada posteriormente para evaluar la relevancia del documento (ver http://www.tfidf.com/)
		+	\|-
		+	\| Resultados por órden de rele \|\| Ejemplo
		+	\|-
		+	\| Ejemplo \|\| Ejemplo
		+	\|-
		+	\| Ejemplo \|\| Ejemplo
		+	\|-
		+	\| Ejemplo \|\| Ejemplo
		+	\|-
		+	\| Ejemplo \|\| Ejemplo
		+	\|-
		+	\| Ejemplo \|\| Ejemplo
		+	\|}

@@ Line 1: / Line 1: @@
-Este proceso tiene como finalidad realizar una búsqueda libre sobre el texto de documentos en formato PDF. Consta de dos procesos:
+Tiene como finalidad realizar una búsqueda libre sobre archivos TXT generados a partir de conversión de documentos PDF o Word a un formato plano. Igualmente pueden utilizarse archivos de audio procesados por un traductor de Mp3 a Txt. En el caso de documentos PDF o Word se provee un convertidor para generar los equivalente TXT de estos documentos.
-# Extraer el texto de los documentos PDF
+Los archivos TXT se mantiene en una o varias carpetas y desde ahí son procesados para aplicar una búsqueda por proximidad de los términos solicitados. Los resultados se presentan ordenados por relevancia, aplicando las fórmulas y criterios establecidos en http://www.tfidf.com/
-== Extraer el texto de los documentos PDF ==
+Ejemplo de salida: http://abcdwiki.net/ABCD/pdf2text/search_pdf_ifp.php?Expresion=democracia+participativa&separacion=1&ifp=ifp
 El documento PDF es procesado y se crea un archivo .txt contentivo de la versión ANSI de dicho documento.  Aún cuando se podría realizar la extracción de texto en el mismo proceso de búsqueda, este paso previo se justifica por cuanto incrementa la velocidad de respuesta al momento de la búsqueda libre. El resultado final será una carpeta con los archivos .txt obtenidos.

← Older revision	Revision as of 01:31, 17 April 2019
(No difference)

@@ Line 50: / Line 50: @@
 Localizar documentos donde figuran los términos '''municipal''' e '''información''' con una semaración máxima de 5 palabras
-    http://abcdwiki.net/ABCD/pdf2text/search_pdf.php?Expresion_1=municipal&Expresion_2=información&dir=1,2,3,4,5,6,7,8,9&separacion=5
+    http://abcdwiki.net/ABCD/pdf2text/search_pdf.php?Expresion_1=municipal&Expresion_2=informacion&dir=1,2,3,4,5,6,7,8,9&separacion=5
 Localizar los documentos donde se hace referencia al autor  ''' Narbondo''' limitando la búsqueda a las carpetas 4, 5 y 6

@@ Line 48: / Line 48: @@
 Localizar todos documentos con los terminos '''democracia participativa''' adyacentes
     http://abcdwiki.net/ABCD/pdf2text/search_pdf.php?Expresion_1=democracia&Expresion_2=participativa&dir=1,2,3,4,5,6,7,8,9&separacion=1
 Localizar los documentos donde se hace referencia al autor  ''' Narbondo''' limitando la búsqueda a las carpetas 4, 5 y 6