El término se traduce como “Intertet profunda” o “Internet
oscura”, creo que el término proviene de hacer una comparación entre esta
“Internet oscura” con las aguas “profundas” de los mares. El hecho es que el
noventa y cinco por ciento de las aguas “profundas” de los mares del mundo
todavía están sin explorar, pues bien, el noventa y cinco por ciento de las
páginas Web no se han podido indizar o indexar.
Tome su pausa, de verdad: “San Google” no lo sabe todo, si me permiten la broma. Cuando se me pregunta el muy
natural: ¿Por qué? La respuesta más simple, y es la que me gusta más, es que las
personas desean privacidad. Hay una infinidad de “páginas privadas” que
solicitan expresamente no ser indexadas en los diversos programas o buscadores de la red como Google, Yahoo,
Bing, Duck Duck Go y otras semejantes. Otras veces los buscadores no
pueden indizar páginas pues están protegidas por contraseñas o están en un
formato que no pueden reconocer. En otras ocasiones se debe a que las páginas
forman parte de una base de datos como revistas, periódicos, enciclopedias,
diccionarios y muchas otras como las que se usan para administrar el contenido
de bibliotecas, aunque en su mayoría son páginas de uso público es necesario
consultar la base de datos para acceder a las mismas.
Claro que por ser
imposible indizar tantas páginas lo que tenemos son datos muy especulativos
sobre el tamaño y los porqué. Para poner un ejemplo muchas de las páginas
privadas se dedican a poner en contacto a personas que desean privacidad, por
ejemplo los “desnudistas” y las comunidades que tienen afinidad por esa cultura.
También en esta categoría cabrían páginas con temáticas que en realidad no
aportan a la comunidad global, como aquellas que promueven actividades ilegales
o hacen de contacto entre personas con estos intereses. Claro que también hay
sitios que sirven a nichos o pequeñas comunidades que aportan significativamente
a estas, pero en temas muy específicos que son sólo del interés o conocimiento
de estos grupos reducidos de personas.
Finalmente, tenemos que considerar también los límites
técnicos de los buscadores: el proceso de búsqueda de nuevas páginas en la
Internet requiere de recursos, tanto energéticos como computacionales, todos
limitados. Por lo mismo es que las personas que diseñan los métodos de
indexación buscan optimizar el proceso priorizando los "lugares" en la web donde
hay mayores probabilidades de encontrar contenidos útiles para los usuarios.
Pero el evitar indexar páginas puede terminar privando al
usuario final, o sea al que realiza la búsqueda en Internet, de información
relevante que le podría entregar respuestas a sus interrogantes, y por lo mismo
es que los buscadores más importantes hacen constantes esfuerzos en mejorar y
ampliar su infraestructura para por lo menos ir superando las limitaciones
técnicas respecto a la cantidad de páginas que pueden indexar en sus bases de
datos. Asimismo, piden la cooperación por parte de los propietarios de sitios
para evitar páginas duplicadas y otros problemas que terminan desperdiciando
recursos.
Se puede decir que hoy en día una buena parte de esta "Deep
Web" o "Internet profunda" ya forma parte de los índices de páginas en los
grandes buscadores, y si bien nunca se conocerá del todo esta parte inexplorada
de la Internet, principalmente por motivos de privacidad de quienes crean
contenidos protegidos, la información que podemos encontrar en la web es
extremadamente amplia, al punto que difícilmente podemos "digerir" esta
inmensidad. Y vale la pena mencionar que como toda herramienta humana la Web
oscura o profunda puede tener usos buenos o malos (como en el caso de la
ilegalidad).
