link Link (href) Extractor star

Hoe het werkt

Plak HTML-broncode — de uitvoer van 'paginabron bekijken', de inhoud van een opgeslagen .html-bestand, of een willekeurig gekopieerd fragment — en de tool geeft die tekst door aan de eigen HTML-parser van de browser in plaats van aan een met de hand geschreven reguliere expressie (regex). Dat verschil is belangrijker dan het klinkt. HTML uit de praktijk is op manieren rommelig waar een naïeve regex op vastloopt: een attribuut kan tussen dubbele aanhalingstekens, enkele aanhalingstekens of helemaal zonder aanhalingstekens staan (href=over.html is technisch gezien geldige HTML), een tag kan zelfsluitend zijn of niet, en tags kunnen vele niveaus diep genest zitten, over meerdere regels lopen, of verstopt zitten in commentaar en <script>-blokken die zelf ook punthaken bevatten. Een parser van browserkwaliteit heeft twee decennia besteed aan het absorberen van al deze uitzonderingen, omdat hij verplicht is te renderen welke pagina hem ook wordt aangeboden, hoe misvormd de opmaak ook is — de extractor op diezelfde motor bouwen, in plaats van patroonherkenning voor tags opnieuw uit te vinden, is wat hem betrouwbaar maakt op opmaak die u zelf niet heeft geschreven, zoals een gescrapete concurrentiepagina of een oude campagne-export.

Zodra de parser een structurele boom heeft opgebouwd uit de geplakte opmaak, wordt de href van elk <a>-element rechtstreeks gelezen als eigenschap van dat element, in plaats van als ruwe tekst uit een string — wat meteen aanhalingstekenkwesties en losse punthaken in commentaar omzeilt die een patroonmatch anders om de tuin zouden kunnen leiden. De resulterende lijst met URL's wordt vervolgens ontdubbeld en één per regel weggeschreven, klaar om naar het klembord te kopiëren of als platte-tekstbestand te downloaden.

Concreet voorbeeld: de HTML van een pagina bevat <a href='/prijzen'>, <a href="https://voorbeeld.com/blog"> en een kale <a href=mailto:[email protected]> zonder enige aanhalingstekens — drie verschillende aanhalingsstijlen in drie regels. Een regex geschreven om href="..." te matchen zou de enkel aangehaalde en niet-aangehaalde gevallen stilzwijgend missen; de parser leest alle drie identiek, omdat het voor een browser simpelweg attribuutwaarden zijn, ongeacht hoe — of zelfs óf — ze zijn aangehaald.

Wat u moet weten

• Relatieve URL's zoals /prijzen of ../blog/bericht worden precies zo geëxtraheerd als ze zijn geschreven, niet omgezet naar volledige https://...-adressen. Een relatief pad omzetten naar een absolute URL vereist kennis van de basis-URL van de pagina — meestal het adres waar de HTML oorspronkelijk vandaan kwam, of een expliciete <base>-tag — en een geplakt fragment draagt geen van beide op zichzelf mee.
• De tool haalt zelf nooit een URL op; hij leest alleen de HTML die u aanlevert. Dat is een bewuste grens: de uitgaande links van een pagina op deze manier controleren vereist helemaal geen serververzoek vanaf deze site, alleen vanaf de browser die u al gebruikte om de bron te bekijken of op te slaan.
• mailto:- en tel:-links komen precies zo door als elke andere href, omdat de parser geen onderscheid maakt naar schema — alles wat in een href-attribuut staat, telt mee als een link die het waard is om te vermelden.