Pregunta ¿Cómo se analiza y procesa HTML / XML en PHP?


¿Cómo se puede analizar HTML / XML y extraer información de él?


1894
2017-08-26 17:19


origen


Respuestas:


Extensiones XML nativas

Prefiero usar uno de los extensiones XML nativas ya que vienen empaquetados con PHP, suelen ser más rápidos que todas las libs de terceros y me dan todo el control que necesito sobre el marcado.

DOM

La extensión DOM le permite operar en documentos XML a través de la API DOM con PHP 5. Es una implementación del Modelo de Objeto de Documento 3 del Núcleo Core del W3C, una interfaz neutral de plataforma y plataforma que permite que programas y scripts accedan y actualicen dinámicamente el contenido, la estructura y el estilo de los documentos.

DOM es capaz de analizar y modificar HTML del mundo real (roto) y puede hacer Consultas XPath. Está basado en libxml.

Lleva un tiempo llegar a ser productivo con DOM, pero ese momento bien lo vale IMO. Dado que DOM es una interfaz independiente del idioma, encontrará implementaciones en muchos idiomas, por lo que si necesita cambiar su lenguaje de programación, es probable que ya sepa cómo usar la API DOM de ese idioma.

Un ejemplo de uso básico se puede encontrar en Agarrando el atributo href de un elemento A y una descripción conceptual general se puede encontrar en DOMDocument en php

Cómo usar la extensión DOM se ha cubierto ampliamente en StackOverflow, por lo que si elige usarlo, puede estar seguro de que la mayoría de los problemas que encuentre se pueden resolver buscando / navegando en el desbordamiento de la pila.

XMLReader

La extensión XMLReader es un analizador de extracción de XML. El lector actúa como un cursor hacia adelante en la secuencia de documentos y deteniéndose en cada nodo en el camino.

XMLReader, como DOM, se basa en libxml. No estoy al tanto de cómo desencadenar el módulo de analizador HTML, por lo que es probable que utilizar XMLReader para analizar HTML roto sea menos sólido que usar DOM, donde explícitamente puede indicarle que use el módulo de analizador HTML de libxml.

Un ejemplo de uso básico se puede encontrar en obteniendo todos los valores de las etiquetas h1 usando php

Analizador XML

Esta extensión le permite crear analizadores XML y luego definir manejadores para diferentes eventos XML. Cada analizador XML también tiene algunos parámetros que puede ajustar.

La biblioteca XML Parser también se basa en libxml e implementa un SAXÓFONO analizador de empuje XML de estilo. Puede ser una mejor opción para la administración de memoria que DOM o SimpleXML, pero será más difícil trabajar con ella que el analizador de extracción implementado por XMLReader.

SimpleXml

La extensión SimpleXML proporciona un conjunto de herramientas muy simple y fácil de usar para convertir XML a un objeto que puede procesarse con selectores de propiedades e iteradores de matrices normales.

SimpleXML es una opción cuando sabes que el HTML es XHTML válido. Si necesita analizar HTML roto, ni siquiera considere SimpleXml porque se ahogará.

Un ejemplo de uso básico se puede encontrar en Un programa simple para CRUD nodo y valores de nodo de archivo xml y ahí está muchos ejemplos adicionales en el manual de PHP.


Bibliotecas de terceros (basadas en libxml)

Si prefieres usar una lib de terceros, te sugiero usar una lib que realmente use DOM/libxml por debajo en lugar de analizar cadenas.

FluentDom

FluentDOM proporciona una interfaz XML fluida similar a jQuery para DOMDocument en PHP. Los selectores se escriben en XPath o CSS (usando un convertidor de CSS a XPath). Las versiones actuales amplían las interfaces estándar de implementación de DOM y agregan características del estándar DOM Living. FluentDOM puede cargar formatos como JSON, CSV, JsonML, RabbitFish y otros. Se puede instalar a través de Composer.

HtmlPageDom

Wa72 \ HtmlPageDom` es una biblioteca PHP para facilitar la manipulación de HTML   documentos usando Requiere DomCrawler de Symfony2   componentes para atravesar el   DOM tree y lo extiende agregando métodos para manipular el DOM   árbol de documentos HTML.

phpQuery (no actualizado por años)

phpQuery es una API del Modelo de Objetos de Documentos (DOM) accionada por el selector de CSS3 del lado del servidor, basada en la Biblioteca de JavaScript de jQuery, escrita en PHP5 y que proporciona una Interfaz de Línea de Comandos (CLI) adicional.

Ver también: https://github.com/electrolinux/phpquery

Zend_Dom

Zend_Dom proporciona herramientas para trabajar con documentos DOM y estructuras. Actualmente, ofrecemos Zend_Dom_Query, que proporciona una interfaz unificada para consultar documentos DOM utilizando los selectores XPath y CSS.

QueryPath

QueryPath es una biblioteca PHP para manipular XML y HTML. Está diseñado para funcionar no solo con archivos locales, sino también con servicios web y recursos de bases de datos. Implementa gran parte de la interfaz jQuery (incluidos los selectores estilo CSS), pero está muy optimizada para el uso del lado del servidor. Se puede instalar a través de Composer.

fDOMDocument

fDOMDocument amplía el DOM estándar para usar excepciones en todas las ocasiones de errores en lugar de advertencias o avisos de PHP. También agregan varios métodos personalizados y accesos directos para mayor comodidad y para simplificar el uso de DOM.

sable / xml

sabre / xml es una biblioteca que envuelve y amplía las clases XMLReader y XMLWriter para crear un sistema de mapeo y patrón de diseño "xml to object / array" simple. Escribir y leer XML es de un solo paso y, por lo tanto, puede ser rápido y requerir poca memoria en archivos xml grandes.

FluidXML

FluidXML es una biblioteca PHP para manipular XML con una API concisa y fluida.   Aprovecha XPath y el patrón de programación fluido para ser divertido y efectivo.


De terceros (no basado en libxml)

La ventaja de utilizar DOM / libxml es que obtiene un buen rendimiento de fábrica porque está basado en una extensión nativa. Sin embargo, no todas las libs de terceros siguen esta ruta. Algunos de ellos se enumeran a continuación

PHP Simple HTML DOM Parser

  • ¡Un analizador HTML DOM escrito en PHP5 + le permite manipular HTML de una manera muy fácil!
  • Requiere PHP 5+.
  • Admite HTML no válido.
  • Encuentra etiquetas en una página HTML con selectores como jQuery.
  • Extrae contenido de HTML en una sola línea.

Generalmente no recomiendo este analizador. La base de código es horrible y el analizador en sí mismo es bastante lento y tiene mucha memoria. No todos los selectores jQuery (como selectores de niños) es posible. Cualquiera de las bibliotecas basadas en libxml debe superar esto fácilmente.

Analizador PHP Html

PHPHtmlParser es un analizador html simple y flexible que le permite seleccionar etiquetas usando cualquier selector css, como jQuery. El objetivo es ayudar en el desarrollo de herramientas que requieren una manera rápida y fácil de eliminar html, ¡ya sea válido o no! Este proyecto fue originalmente compatible con sunra / php-simple-html-dom-parser, pero el soporte parece haberse detenido, por lo que este proyecto es mi adaptación de su trabajo anterior.

De nuevo, no recomendaría este analizador. Es bastante lento con un alto uso de la CPU. Tampoco hay una función para borrar la memoria de los objetos DOM creados. Estos problemas se escalan particularmente con bucles anidados. La documentación en sí es incorrecta y está mal escrita, sin respuestas a las correcciones desde el 14 de abril de 16.

Ganon

  • Un tokenizador universal y un analizador de DOM HTML / XML / RSS      
    • Capacidad de manipular elementos y sus atributos
    • Admite HTML no válido y UTF8
  • Puede realizar consultas avanzadas similares a CSS3 en elementos (como jQuery - espacios de nombres compatibles)
  • Un embellecedor de HTML (como HTML Tidy)      
    • Minificar CSS y Javascript
    • Clasificar atributos, cambiar carácteres, corregir sangrías, etc.
  • Extensible      
    • Analizar documentos utilizando devoluciones de llamada en función del carácter / ficha actual
    • Operaciones separadas en funciones más pequeñas para anularlas fácilmente
  • Rapido y facil

Nunca lo usé No puedo decir si es bueno.


HTML 5

Puede usar lo anterior para analizar HTML5, pero puede haber rarezas debido al marcado que HTML5 permite. Entonces, para HTML5, debe considerar el uso de un analizador dedicado, como

html5lib

Implementaciones de Python y PHP de un analizador HTML basado en la especificación WHATWG HTML5 para una máxima compatibilidad con los principales navegadores web de escritorio.

Es posible que veamos más analizadores dedicados una vez que finalice HTML5. También hay un blogpost por el W3 titulado Cómo hacer para analizar html 5 eso vale la pena echarle un vistazo.


Servicios web

Si no desea programar PHP, también puede usar los servicios web. En general, encontré muy poca utilidad para estos, pero así soy yo y mis casos de uso.

YQL

El servicio web YQL permite a las aplicaciones consultar, filtrar y combinar datos de diferentes fuentes en Internet. Las sentencias YQL tienen una sintaxis similar a SQL, familiar para cualquier desarrollador con experiencia en bases de datos.

ScraperWiki.

La interfaz externa de ScraperWiki le permite extraer datos en la forma que desea para usar en la web o en sus propias aplicaciones. También puede extraer información sobre el estado de cualquier raspador.


Expresiones regulares

Último y menos recomendado, puedes extraer datos de HTML con expresiones regulares. En general, se desaconseja usar expresiones regulares en HTML.

La mayoría de los fragmentos que encontrará en la web para hacer coincidir el marcado son frágiles. En la mayoría de los casos, solo están trabajando para una pieza de HTML muy particular. Los pequeños cambios en el marcado, como agregar espacios en blanco en alguna parte, o agregar, o cambiar atributos en una etiqueta, pueden hacer que el RegEx falle cuando no está escrito correctamente. Debe saber lo que está haciendo antes de usar RegEx en HTML.

Los analizadores de HTML ya conocen las reglas sintácticas de HTML. Las expresiones regulares deben enseñarse para cada nuevo RegEx que escriba. RegEx está bien en algunos casos, pero realmente depende de su caso de uso.

puede escribir analizadores más confiables, pero escribiendo un completo y confiable El analizador personalizado con expresiones regulares es una pérdida de tiempo cuando las bibliotecas antes mencionadas ya existen y hacen un trabajo mucho mejor en esto.

Ver también Analizando Html The Cthulhu Way


Libros

Si quieres gastar algo de dinero, echa un vistazo a

No estoy afiliado con PHP Architect o los autores.


1718
2017-08-26 17:18



Tratar Simple HTML DOM Parser

  • ¡Un analizador HTML DOM escrito en PHP 5+ que te permite manipular HTML de una manera muy fácil!
  • Requiere PHP 5+.
  • Admite HTML no válido.
  • Encuentra etiquetas en una página HTML con selectores como jQuery.
  • Extrae contenido de HTML en una sola línea.
  • Descargar


Ejemplos:


Cómo obtener elementos HTML:

// Create DOM from URL or file
$html = file_get_html('http://www.example.com/');

// Find all images
foreach($html->find('img') as $element)
       echo $element->src . '<br>';

// Find all links
foreach($html->find('a') as $element)
       echo $element->href . '<br>';


Cómo modificar elementos HTML:

// Create DOM from string
$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');

$html->find('div', 1)->class = 'bar';

$html->find('div[id=hello]', 0)->innertext = 'foo';

echo $html;


Extrae contenido de HTML:

// Dump contents (without tags) from HTML
echo file_get_html('http://www.google.com/')->plaintext;


Scraping Slashdot:

// Create DOM from URL
$html = file_get_html('http://slashdot.org/');

// Find all article blocks
foreach($html->find('div.article') as $article) {
    $item['title']     = $article->find('div.title', 0)->plaintext;
    $item['intro']    = $article->find('div.intro', 0)->plaintext;
    $item['details'] = $article->find('div.details', 0)->plaintext;
    $articles[] = $item;
}

print_r($articles);

303
2017-11-26 20:02



Solo usa DOMDocument-> loadHTML () y termine con esto. El algoritmo de análisis HTML de libxml es bastante bueno y rápido, y, contrariamente a la creencia popular, no se atraganta con HTML mal formado.


224
2017-11-15 22:16



Por qué no deberías y cuando deberías usar expresiones regulares?

En primer lugar, un nombre incorrecto común: Regexps no son para "análisis" HTML. Regexes sin embargo puede "extraer" datos. La extracción es para lo que están hechos. La principal desventaja de la extracción de HTML regex sobre los juegos de herramientas SGML adecuados o los analizadores sintácticos de línea de base es su esfuerzo sintáctico y fiabilidad variable.

Considere la posibilidad de hacer una expresión regular de extracción de HTML bastante fiable:

<a\s+class="?playbutton\d?[^>]+id="(\d+)".+?    <a\s+class="[\w\s]*title
[\w\s]*"[^>]+href="(http://[^">]+)"[^>]*>([^<>]+)</a>.+?

es mucho menos legible que un simple equivalente phpQuery o QueryPath:

$div->find(".stationcool a")->attr("title");

Sin embargo, hay casos de uso específicos donde pueden ayudar.

  • Muchas interfaces de cruce DOM no revelan comentarios HTML <!--, que sin embargo son a veces los anclajes más útiles para la extracción. En particular, variaciones de pseudo-HTML <$var> o los residuos SGML son fáciles de dominar con expresiones regulares.
  • A menudo, las expresiones regulares pueden guardar el procesamiento posterior. Sin embargo, las entidades HTML a menudo requieren cuidado manual.
  • Y, por último, para etareas extremadamente sencillas como extraer <img src = urls, de hecho son una herramienta probable. La ventaja de la velocidad con respecto a los analizadores SGML / XML principalmente viene a jugar para estos procedimientos de extracción muy básicos.

A veces, incluso es recomendable preextraer un fragmento de HTML con expresiones regulares /<!--CONTENT-->(.+?)<!--END-->/y procese el resto usando las interfaces de analizador de HTML más simples.

Nota: De hecho tengo esto aplicación, donde empleo el análisis de XML y expresiones regulares alternativamente. La semana pasada, el análisis de PyQuery se rompió y la expresión regular aún funcionaba. Sí raro, y no puedo explicarlo yo mismo. Pero así sucedió.
Así que, por favor, no voten por consideraciones del mundo real, simplemente porque no coinciden con el regex = evil meme. Pero tampoco votemos esto demasiado. Es solo una nota al margen de este tema.


136
2018-05-01 02:04



phpQuery y QueryPath son extremadamente similares en la replicación de la API de jQuery con fluidez. Es también por eso que son dos de los enfoques más fáciles de correctamente analizar HTML en PHP.

Ejemplos de QueryPath

Básicamente, primero crea un árbol DOM cuestionable a partir de una cadena HTML:

 $qp = qp("<html><body><h1>title</h1>..."); // or give filename or URL

El objeto resultante contiene una representación de árbol completa del documento HTML. Se puede atravesar usando los métodos DOM. Pero el enfoque común es usar selectores de CSS como en jQuery:

 $qp->find("div.classname")->children()->...;

 foreach ($qp->find("p img") as $img) {
     print qp($img)->attr("src");
 }

Sobre todo, quieres usar simples #id y .class o DIV selectores de etiquetas para ->find(). Pero también puedes usar XPath declaraciones, que a veces son más rápidas. También métodos jQuery típicos como ->children() y ->text() y particularmente ->attr() simplifica la extracción de los fragmentos de código HTML correctos. (Y ya tienen sus entidades SGML decodificadas).

 $qp->xpath("//div/p[1]");  // get first paragraph in a div

QueryPath también permite inyectar nuevas etiquetas en la secuencia (->append), y luego publica y embellece un documento actualizado (->writeHTML) No solo puede analizar HTML malformado, sino también varios dialectos XML (con espacios de nombres), e incluso extraer datos de microformatos HTML (XFN, vCard).

 $qp->find("a[target=_blank]")->toggleClass("usability-blunder");

.

phpQuery o QueryPath?

En general, QueryPath es más adecuado para la manipulación de documentos. Mientras que phpQuery también implementa algunos métodos pseudo AJAX (solo solicitudes HTTP) para parecerse más a jQuery. Se dice que phpQuery suele ser más rápido que QueryPath (debido a las pocas características generales).

Para más información sobre las diferencias ver esta comparación en la máquina de wayback de tagbyte.org. (La fuente original desapareció, así que aquí hay un enlace de archivo de Internet. Sí, aún puede localizar páginas faltantes, personas).

Y aquí está una introducción exhaustiva a QueryPath.

Ventajas

  • Simplicidad y Confiabilidad
  • Alternativas simples de usar ->find("a img, a object, div a")
  • Separación adecuada de datos (en comparación con la eliminación de expresiones regulares)

126
2017-08-26 17:20



Simple HTML DOM es un gran analizador de código abierto:

simplehtmldom.sourceforge

Trata los elementos DOM de forma orientada a objetos, y la nueva iteración tiene una gran cobertura para el código no conforme. También hay algunas funciones geniales como las que vería en JavaScript, como la función "buscar", que devolverá todas las instancias de los elementos de ese nombre de etiqueta.

Lo he usado en varias herramientas, probándolo en muchos tipos diferentes de páginas web, y creo que funciona muy bien.


85
2017-10-04 13:14



Un enfoque general que no he visto mencionar aquí es ejecutar HTML a través de Ordenado, que se puede configurar para escupir XHTML garantizado válido. Luego puede usar cualquier biblioteca XML antigua en él.

Pero para su problema específico, debería echarle un vistazo a este proyecto: http://fivefilters.org/content-only/ - es una versión modificada de Legibilidad Algoritmo, que está diseñado para extraer solo el contenido textual (no los encabezados y pies de página) de una página.


58
2017-11-06 21:02



Para 1a y 2: votaría por la nueva clase Symfony Componet DOMCrawler ( DomCrawler ) Esta clase permite consultas similares a los selectores de CSS. Echa un vistazo a esta presentación para ver ejemplos del mundo real: noticias-de-symfony2-world.

El componente está diseñado para funcionar de forma independiente y se puede usar sin Symfony.

El único inconveniente es que solo funcionará con PHP 5.3 o posterior.


54
2018-04-14 19:08