¿API de Arcades 3D?

[Raoh]

Hola.

¿Existe en Arcades3D una API como la de Doomworld/idgames?

es decir, ésto: http://www.doomworld.com/idgames/api

O en cualquier caso, ¿cómo puedo objener un listado de todos los mapas de Arcades3D en formato como de texto plano, algo así como:

"Mapa1.zip;www.arcades3d.net/mapas/doom2/Mapa1.zip;el autor;450Kb;descripción del mapa;fecha; ..."
Eso, para cada mapa.

Aunque sea, con el nombre del archivo me conformaría.

Si no existe nada de lo anterior, entonces me gustaría hacer una petición al Administrador, quien quiera que sea:

la creación de una sencilla API que genere un archivo JSON con información de los mapas disponibles en la web, y si es posible, que permita el uso de filtros.
Vamos, como lo de Doomworld, aunque más sencillo.

¿Sería posible?

No me preguntéis para qué lo quiero. ^_^

[Eye del Cul]

No existe nada parecido, pero un script en PHP que vuelque los datos de todos los mapas en un fichero de texto plano sería fácil de hacer. Luego quedaría en tus manos procesar eso como creas conveniente. En cuanto tenga un rato lo hago.

Nunca he usado JSON. En realidad mis "mad webmaster skillz" no han evolucionado desde 2004, y ya entonces eran bastante discutibles .

[Mangetsu]

Si lo quieres como backup o algo parecido en caso de que pase algo con A3D me parece genial idea.

Lo que no se es la legalidad de eso.

[Raoh]

No existe nada parecido, pero un script en PHP que vuelque los datos de todos los mapas en un fichero de texto plano sería fácil de hacer. Luego quedaría en tus manos procesar eso como creas conveniente. En cuanto tenga un rato lo hago.

Nunca he usado JSON. En realidad mis "mad webmaster skillz" no han evolucionado desde 2004, y ya entonces eran bastante discutibles .

Con un .txt me serviría. Y si pudieses hacer que creara un CSV separado por comas o puntos y coma, mejor.

Lo bueno del JSON es que es muy útil y manejable. Es básicamente una base de datos. Se pueden hacer búsquedas usando un campo concreto, casi como si fuera una BD con SQL. Pero con CSV no se puede nada de eso.

En cualquiera de ambos casos, me interesaría la siguiente información de cada mapa:

Título: el nombre "artístico" del mapa, por ejemplo, Knee deep in zDoom, o lo que sea.
Descripción: básicamente la review del mapa
URL directa al archivo: por ejemplo www.arcades3d.com/mapas/doom2/kdizd.zip
URL a la búsqueda del mapa: osea, ésto: http://www.arcades3d.net/mapas/mostmapas.php?peich=1&juego=doom2&recomendado=on&dificultad=0&abc=1&letras=SPA
Nombre del autor: pues eso.
Tamaño del mapa: 350 Gb, por ejemplo. Si es posible, en bytes. En Kb también podría ser.

Luego, opcionalmente, lo de "recomendado" y/o dificultad, también podría ser, pero no es necesario.

En cuanto a las capturas de pantalla, si TODAS tienen el mismo nombre que el mapa, y TODAS están en el mismo formato (p.ej, TODAS en JPEG), no hace falta que las añadas.

Lo más sencillo creo que será un CSV, aunque mucho menos potente que JSON.
Si vas a hacer un CSV, sería básicamente un fichero de texto plano con una línea por cada mapa.
Cada elemento de un mapa estaría separado por una coma o un punto y coma, o cualquier otro caracter que no se use.

Entonces, en el caso de la información de arriba, sería:

Título;Descripción;URL_Archivo;URL_Búsqueda;Autor;Tamaño

Como veo que has usado comas en las descripciones, podrías usar entonces puntos y coma, o incluso almohadillas (#).

Por ejemplo:

Código [Seleccionar] Expandir


Spaceship 2014 ; Éste es un mapa genial ; www.arcades3d.com/mapas/doom2/1024pc01.rar ; http://www.arcades3d.net/mapas/mostmapas.php?...1&letras=SPA ; Paul Corfiatis ; 47000

47000 es el tamaño en bytes. En este ejemplo separé las comas con espacios para que se vea bién, pero no es necesario.



Luego, si te animas con JSON, la cosa es muy sencilla. Verás que no tiene ninguna dificultad.
Se trata también de un fichero de texto plano, y si convertimos lo de arriba a JSON, quedaría de la siguiente manera:

Código [Seleccionar] Expandir


{
"mapas": [
         {
            "titulo": "Spaceship 2014",
            "descripcion": "Éste es un mapa genial",
            "url_archivo": "arcades3d.com/mapas/doom2/1024pc01.rar",
            "url_busqueda": " http://www.arcades3d.net/mapas/mostmapas.php?...1&letras=SPA",
            "autor": Paul Corfiatis,
            "tamaño": 47000
         },
         {
            "titulo": "My gran mapa 2",
            "descripcion": "El mejor de los mapas",
            "url_archivo": "arcades3d.com/mapas/doom2/supermapa.rar",
            "url_busqueda": " http://www.arcades3d.net/mapas/mostmapas.php?...1&letras=SUP",
            "autor": Geronimo García,
            "tamaño": 123456
         }
]}

Fíjate en el { y el [ del principio, y el ] y } del final.
Fácil, ¿verdad?

[Sami]

Haz un analizador SAX y procesa todos los mapas de la página, también es una opción.

Y yo creo que es más adaptado a procesamiento HTML ya que se basa en procesar lenguajes de marcas...

[Raoh]

Haz un analizador SAX y procesa todos los mapas de la página, también es una opción.

Y yo creo que es más adaptado a procesamiento HTML ya que se basa en procesar lenguajes de marcas...

No le veo ninguna ventaja.
Analizar una página web entera lleva mucho más tiempo y es más complejo que extraer directamente la información que quieres, y que está ya en un formato sencillo, fácil de leer e interpretar, y que además permite búsquedas rápidas.

[eldraku]

pero... ¿para qué lo quieres?  no creo que sea necesario tanto secretismo 

[AlektorophobiA]

Creo que es bastante obvio la verdad (al menos eso creo), supongo que es para buscar mapas mas facilmente o incluso eventualmente crear algun gestor para bajarlos directamente al PC, si no me equivoco Doomworld y la comunidad de Quake tienen programas de ese estilo.

[Sami]

Haz un analizador SAX y procesa todos los mapas de la página, también es una opción.

Y yo creo que es más adaptado a procesamiento HTML ya que se basa en procesar lenguajes de marcas...

No le veo ninguna ventaja.
Analizar una página web entera lleva mucho más tiempo y es más complejo que extraer directamente la información que quieres, y que está ya en un formato sencillo, fácil de leer e interpretar, y que además permite búsquedas rápidas.

Hombre, le evitas trabajo a Eye de Cul y todo el trabajo lo tienes tú, en vez de hacer una "petición", que lo único que pides es que se te faciliten las cosas, cuando un analizador SAX de una página como puede ser la de los mapas se puede hacer en menos de 8 horas... lo que pasa es que se ve que te falta soltura y quieres JSON y una API, pero a falta de APIs tienes muchas otras opciones, como esa o DOM

Código [Seleccionar] Expandir

<div class="cuerpo"> <!-- cuerpo -->
  <div class="cuerpo2"> <!-- cuerpo2 -->
  <div class="centro"> <!-- centro -->
  <div class="texto"> <!-- texto -->
  <h2><span class="mapadoom">10TOMB4</span></h2> 
  <div class="imgmapa">
  <img class="capt" alt="Captura" src="doom2/10Tomb4.jpg">
<p>REQUIERE SOURCE-PORTS.</p>
<p>AUTOR: <span class="nombre">Obsidian</span><br>
DIFICULTAD: <span class="sufriras">Sufrir&aacute;s</span></p>
<img src="sufriras.png" alt="Sufrir&aacute;s">
  </div>
  <div class="comentario">
<p> Un conjunto de dos mapas —MAP01 y MAP02—, m&aacute;s un tercero que viene a servir de ep&iacute;logo. Se trata de obras del g&eacute;nero de los "1024": una variedad de niveles reducidos ideados para que encajen en un espacio de 1024x1024 unidades de <cite class="juego">Doom</cite>. Una especie de reto creativo para sus autores, vaya, que deben lograr algo ameno de jugar en tan poco sitio.</p>
<p> Y con <cite>10Tomb4</cite> he de decir que, en efecto, misi&oacute;n cumplida. Da para un agradable cuarto de hora de partida, quiz&aacute;s un poco m&aacute;s si os cuesta resolver el primer nivel. Los escenarios est&aacute;n bien detallados aunque sin excederse, la acci&oacute;n no decae y tampoco se torna repetitiva, y adem&aacute;s la ambientaci&oacute;n resulta relativamente original: un lugar con cierto aire a tumba egipcia, gracias a algunas texturas nuevas tomadas de <cite class="juego">Powerslave</cite>.</p>
<p> Veamos, el primer mapa se centra en la exploraci&oacute;n, con combates espor&aacute;dicos. Cuenta con numerosas palancas que descubrir, y averiguar qu&eacute; hace cada una puede ser un poco complicado —consultad el automapa—. El segundo consiste en un enfrentamiento contra el monstruo jefe, algo as&iacute; como "el padre de todas las <span class="extr">lost souls</span>", una cabeza gigante con cuernos sacada probablemente de <cite class="juego">Heretic</cite> o <cite class="juego">Hexen</cite>. Y el MAP03, ya que estamos, se resume en un feliz descanso junto a una acogedora hoguera de campamento, una vez hab&eacute;is sobrevivido a la tumba maldita: <q>The End</q>, nenes.</p>
<p> Jugadlos, tienen su gracia. Por alguna raz&oacute;n est&aacute;n pensados para Boom y otros <span class="extr">source-ports</span> compatibles con &eacute;l —PrBoom, Zdoom, MBF, etc—.</p></div>
<div class="descarga">
<p><strong>DESCARGA: <a href="doom2/10Tomb4.rar">10Tomb4.rar</a> - (470 KB).</strong></p><p><img src="recomendado2.png" alt="&iexcl;Recomendado!"></p><p class="espaciosinCSS">&nbsp;</p></div>  </div> <!-- texto -->
  </div> <!-- cuerpo -->
  </div> <!-- cuerpo -->
  </div> <!-- cuerpo2 -->

Además, por cada mapa solo tienes como mucho 8 etiquetas y encima cada una con un atributo class que las diferencia, ¿qué complejidad tiene eso? ::ouch::

[Raoh]

Hombre, le evitas trabajo a Eye de Cul y todo el trabajo lo tienes tú, en vez de hacer una "petición", que lo único que pides es que se te faciliten las cosas, cuando un analizador SAX de una página como puede ser la de los mapas se puede hacer en menos de 8 horas... lo que pasa es que se ve que te falta soltura y quieres JSON y una API, pero a falta de APIs tienes muchas otras opciones, como esa o DOM

Código [Seleccionar] Expandir

<div class="cuerpo"> <!-- cuerpo -->
  <div class="cuerpo2"> <!-- cuerpo2 -->
  <div class="centro"> <!-- centro -->
  <div class="texto"> <!-- texto -->
  <h2><span class="mapadoom">10TOMB4</span></h2> 
  <div class="imgmapa">
  <img class="capt" alt="Captura" src="doom2/10Tomb4.jpg">
<p>REQUIERE SOURCE-PORTS.</p>
<p>AUTOR: <span class="nombre">Obsidian</span><br>
DIFICULTAD: <span class="sufriras">Sufrir&aacute;s</span></p>
<img src="sufriras.png" alt="Sufrir&aacute;s">
  </div>
  <div class="comentario">
<p> Un conjunto de dos mapas —MAP01 y MAP02—, m&aacute;s un tercero que viene a servir de ep&iacute;logo. Se trata de obras del g&eacute;nero de los "1024": una variedad de niveles reducidos ideados para que encajen en un espacio de 1024x1024 unidades de <cite class="juego">Doom</cite>. Una especie de reto creativo para sus autores, vaya, que deben lograr algo ameno de jugar en tan poco sitio.</p>
<p> Y con <cite>10Tomb4</cite> he de decir que, en efecto, misi&oacute;n cumplida. Da para un agradable cuarto de hora de partida, quiz&aacute;s un poco m&aacute;s si os cuesta resolver el primer nivel. Los escenarios est&aacute;n bien detallados aunque sin excederse, la acci&oacute;n no decae y tampoco se torna repetitiva, y adem&aacute;s la ambientaci&oacute;n resulta relativamente original: un lugar con cierto aire a tumba egipcia, gracias a algunas texturas nuevas tomadas de <cite class="juego">Powerslave</cite>.</p>
<p> Veamos, el primer mapa se centra en la exploraci&oacute;n, con combates espor&aacute;dicos. Cuenta con numerosas palancas que descubrir, y averiguar qu&eacute; hace cada una puede ser un poco complicado —consultad el automapa—. El segundo consiste en un enfrentamiento contra el monstruo jefe, algo as&iacute; como "el padre de todas las <span class="extr">lost souls</span>", una cabeza gigante con cuernos sacada probablemente de <cite class="juego">Heretic</cite> o <cite class="juego">Hexen</cite>. Y el MAP03, ya que estamos, se resume en un feliz descanso junto a una acogedora hoguera de campamento, una vez hab&eacute;is sobrevivido a la tumba maldita: <q>The End</q>, nenes.</p>
<p> Jugadlos, tienen su gracia. Por alguna raz&oacute;n est&aacute;n pensados para Boom y otros <span class="extr">source-ports</span> compatibles con &eacute;l —PrBoom, Zdoom, MBF, etc—.</p></div>
<div class="descarga">
<p><strong>DESCARGA: <a href="doom2/10Tomb4.rar">10Tomb4.rar</a> - (470 KB).</strong></p><p><img src="recomendado2.png" alt="&iexcl;Recomendado!"></p><p class="espaciosinCSS">&nbsp;</p></div>  </div> <!-- texto -->
  </div> <!-- cuerpo -->
  </div> <!-- cuerpo -->
  </div> <!-- cuerpo2 -->

Además, por cada mapa solo tienes como mucho 8 etiquetas y encima cada una con un atributo class que las diferencia, ¿qué complejidad tiene eso? ::ouch::

Me refiero a complejo no para implementarlo, si no para que el ordenador lo analize.
No sólo obligas al ordenador a tener que "parsear" una ingente cantidad de información inútil, si no que también haces que el usuario se tenga que descargar 100 veces más de datos que no se van a usar para nada.

Por esa razón se han creado JSON, XML u otros muchos, y que son los que la gran mayoría de páginas webs usan, para evitar precisamente hacer lo que tú dices. ¿Acaso crees que alguien se molestaría en desarrollarlos sólo por diversión?


Por otro lado, si el administrador (¿Eye del cul?) cree que es muy difícil o demasiado trabajo, creo que ya lo habría dicho, en vez de opinar que intentaría hacer algo.
Lo que me refiero es que no veo adecuado que tengas que hablar en su nombre, opinar sobre lo que puede o no puede hacer o incluso presuponer cosas según tus preferencias u opiniones.


Además es una propuesta que, la mires como la mires, mejorará la web, y no consigo encontrar ninguna razón para que digas que no se haga.

[Sami]

Mira, te estás equivocando y colando, te explico:

El analizador SAX es un analizador muy eficiente porque sólo lee lo que tiene que parsear una sola vez y no consume memoria, ya que no construye el arbol entero de los datos de la página web, así como recorrerlo. Te explico por qué analizarlo así no es costoso: cuando entras a una página web de mapas de Arcades 3D (o cualquier otra página) te descargas el código HTML, y el navegador lo interpreta y te dibuja la página (total que lo parsea como un analizador). Si tu te descargas ese mismo código y lo parseas con SAX lo estás recorriendo como hace el navegador en mucho menos tiempo porque no tienes que renderizar ningún gráfico y con el consiguiente menor gasto de memoria. Al final estás tratando un flujo de caracteres, como tu querido JSON. ¿Lo de descargar 100 veces más información inútil de donde te lo has sacado? ¿Sabes cuanto ocupa el código HTML de la primera página de mapas del Doom? 16,4 kB y hay 40 páginas... total que hay que descargarse la friolera de 650 kB de información y como ya he dicho eso ya se lo descarga el navegador cuando las estas visitando y todo el mundo ve que no tarda nada.

Cuando dices eso de "Por esa razón se han creado JSON, XML u otros muchos" y remarco XML, ¿qué diferencias tiene con HTML? A ver, que me parece que me acabo de enterar que XML y HTML ni son los dos lenguajes de marcas, ni son fáciles de recorrer ambos, sólo el XML, aunque el HTML se parezca muchísimo, incluso en este caso que sean iguales porque la web está bien formada y tiene sus etiquetas con su apertura y cierre, lo que facilita su parseo (que es la diferencia principal entre XML y HTML, que el HTML es más guarro y el XML tiene reglas de formato). ¿Si la página estuviera en XHTML sería más fácil...? ¡Es una fusión de los dos!

JSON, efectivamente, serviría para volcar toda la información que tendrás en datos y memoria hacia un fichero .txt y poder tratarlo en local como si de una base de datos se tratase. Incluso después de ese paso previo ya se tendría un fichero con contenido JSON desde la que partir para hacer la API, o más bien, la API misma podría ser el analizador SAX, hay muchas formas de hacerlo. Pero de ahí a que digas que no sirve con las razones ridículas que estás dando... pues vas mal.

Yo sólo estoy opinando y aconsejándote sobre lo que podrías hacer sin una API, no estoy diciendo que Eye no la haga ni hablando por él. Mi opinión es que no hace falta teniendo este tipo de cosas, pero si no comprendes muy bien su funcionamiento es normal que tires por otras tecnologías que conozcas más, nos pasa a todos. Lógicamente es más fácil un simple script en PHP que se ejecute en el servidor, donde están todos los datos, yo sólo digo que no tampoco era necesario pedir que lo hiciera él porque hay alternativas como estas.

[Raoh]

Mira, te estás equivocando y colando, te explico:

El analizador SAX es un analizador muy eficiente porque sólo lee lo que tiene que parsear una sola vez y no consume memoria, ya que no construye el arbol entero de los datos de la página web, así como recorrerlo. Te explico por qué analizarlo así no es costoso: cuando entras a una página web de mapas de Arcades 3D (o cualquier otra página) te descargas el código HTML, y el navegador lo interpreta y te dibuja la página (total que lo parsea como un analizador). Si tu te descargas ese mismo código y lo parseas con SAX lo estás recorriendo como hace el navegador en mucho menos tiempo porque no tienes que renderizar ningún gráfico y con el consiguiente menor gasto de memoria.

Ese es precisamente uno de los problemas.
Con tu método me tengo que bajar una página web ENTERA, con toda una serie de datos inútiles para mi propósito.
No sólo me estoy bajando el nombre y la información del mapa, si no también un montón de código HTML que no va a servir para nada.

Al final estás tratando un flujo de caracteres, como tu querido JSON. ¿Lo de descargar 100 veces más información inútil de donde te lo has sacado? ¿Sabes cuanto ocupa el código HTML de la primera página de mapas del Doom? 16,4 kB y hay 40 páginas... total que hay que descargarse la friolera de 650 kB de información y como ya he dicho eso ya se lo descarga el navegador cuando las estas visitando y todo el mundo ve que no tarda nada.

Siguiendo las cuentas matemáticas, tus 650 KBs son 40 páginas, con 5 mapas por página, para un total de 200 mapas.
Pero resulta que de esos 650 KBs, sólo el 10% es información útil.

Ahora, si te vas a Doomworld y te pillas un JSON de TODOS los mapas de las letras a-c, te bajan unos 200 KBs con ***600*** mapas, y estas obteniendo SOLAMENTE la información útil y necesaria.

Si quiero información de 600 mapas usando tu método, no sólo tengo que bajarme 1950 KBs (un 900% más que con JSON) de datos si no que además me estoy bajando información que el parseador va a leer y va a desechar, con la consiguiente pérdida de tiempo.

¿Ves la diferencia?

Cuando dices eso de "Por esa razón se han creado JSON, XML u otros muchos" y remarco XML, ¿qué diferencias tiene con HTML? A ver, que me parece que me acabo de enterar que XML y HTML ni son los dos lenguajes de marcas, ni son fáciles de recorrer ambos, sólo el XML, aunque el HTML se parezca muchísimo, incluso en este caso que sean iguales porque la web está bien formada y tiene sus etiquetas con su apertura y cierre, lo que facilita su parseo (que es la diferencia principal entre XML y HTML, que el HTML es más guarro y el XML tiene reglas de formato). ¿Si la página estuviera en XHTML sería más fácil...? ¡Es una fusión de los dos!

Creo que estamos hablando de dos cosas diferentes.
El problema no es que sea HTML, XML o JSON o CSV. El problema reside en que el código HTML de la página no está diseñado ni pensado para ofrecer única y exclusivamente la información útil, entonces cuando quieras buscar información entre todo ese código HTML, vas a perder tiempo leyendo datos que no te van a servir, además de tenerte que descargar una ingente cantidad de "bits" de datos inútiles.

JSON, efectivamente, serviría para volcar toda la información que tendrás en datos y memoria hacia un fichero .txt y poder tratarlo en local como si de una base de datos se tratase. Incluso después de ese paso previo ya se tendría un fichero con contenido JSON desde la que partir para hacer la API, o más bien, la API misma podría ser el analizador SAX, hay muchas formas de hacerlo. Pero de ahí a que digas que no sirve con las razones ridículas que estás dando... pues vas mal.

Precisamente esa es una de las razones por las que necesito JSON, XML o cualquier otro formato (aunque sea HTML) que permita acceder a toda la info, sin información basura de por medio, y sin que tenga que bajarme tropecientos KBs en cosas que no van a servir.
Por eso comentaba que CSV también me podría servir.

Yo sólo estoy opinando y aconsejándote sobre lo que podrías hacer sin una API, no estoy diciendo que Eye no la haga ni hablando por él. Mi opinión es que no hace falta teniendo este tipo de cosas, pero si no comprendes muy bien su funcionamiento es normal que tires por otras tecnologías que conozcas más, nos pasa a todos. Lógicamente es más fácil un simple script en PHP que se ejecute en el servidor, donde están todos los datos, yo sólo digo que no tampoco era necesario pedir que lo hiciera él porque hay alternativas como estas.

¿Acaso no es mejor tener varias alternativas de hacer una misma cosa?
Es que si el administrador pensara como tú, ¿para qué hacer Arcades3D, si ya existe Doomworld, Wad-Archive, Domwadstation, Kotaku...

[Sami]

Nada, nada, tu usa tu método que es más eficiente... pierdes mucha eficiencia bajándote 1950 kB de los cuales sólo un 10% es código útil.

¿Acaso no es mejor tener varias alternativas de hacer una misma cosa?

Efectivamente, por eso estaba intentando darte una, tu usa la que quieras A falta de API, esa era una alternativa. A ver si entiendes ya que lo que he planteado viene porque no tienes sólo la información útil sino la página en HTML con todo el código ahora mismo y como es lógico tienes que parsearla para extraer la información que te es útil, por eso te bajas información inútil... porque la vas a parsear y extraer la que te es útil. Ahora mismo, si Eye de Cul no te hace el script en PHP no tienes información solamente útil de donde partir como tu quieres y de la manera tan mágicamente eficiente que te gusta, por eso te he comentado esto. Está muy bien eso de que con mi alternativa coges información inútil y es peor, pero ahora mismo no tienes nada desde lo que partir. ¿Lo entiendes ya?

[Eye del Cul]

Me he puesto a ello. Resultados pronto.



Vale, he aquí mi implementación:
http://www.arcades3d.net/mapas/info_mapas.php

Me ha servido para mejorar un poquito el sistema que busca y muestra los mapas. Ahora es posible enlazar directamente cada uno --por ejemplo, "Criaturas de la Noche" está comentado en http://www.arcades3d.net/mapas/mostmapas.php?juego=duke3d&id=9--. Y he ampliado las letras de búsqueda de tres a cinco y permitido espacios, por si alguien desea ver todos los niveles de Doom 2 cuyo nombre comience por "The a...".

[Raoh]

Me he puesto a ello. Resultados pronto.



Vale, he aquí mi implementación:
http://www.arcades3d.net/mapas/info_mapas.php

Me ha servido para mejorar un poquito el sistema que busca y muestra los mapas. Ahora es posible enlazar directamente cada uno --por ejemplo, "Criaturas de la Noche" está comentado en http://www.arcades3d.net/mapas/mostmapas.php?juego=duke3d&id=9--. Y he ampliado las letras de búsqueda de tres a cinco y permitido espacios, por si alguien desea ver todos los niveles de Doom 2 cuyo nombre comience por "The a...".

¡Genial! : )