ThorData

Mange forretningsbeslutninger hviler i dag på data, der ligger frit tilgængeligt på nettet: konkurrenters priser, produktudbud, søgeresultater og markedstendenser. Udfordringen er sjældent, at dataene findes, det er, at de er svære at hente systematisk. Anti bot systemer, geografiske begrænsninger og CAPTCHA blokerer hurtigt for automatiseret adgang, så snart man forsøger at indsamle data i et omfang, der reelt kan bruges til noget.

ThorData er bygget til netop dette problem. Det er en udbyder af proxy infrastruktur og dataindsamlingsværktøjer, grundlagt i 2018 med base i Hongkong. Platformen kombinerer et stort proxy netværk med over 100 mio. IP adresser fordelt på mere end 190 lande med færdige scraping API'er, der gør det muligt at hente offentligt tilgængelige webdata, hvor almindelige værktøjer ellers løber ind i blokeringer.

Kernen i ThorData er adgang til forskellige typer proxyer, residential, mobil, ISP og datacenter, med mulighed for geo targeting helt ned på by- og ASN niveau. Det betyder, at man kan se en hjemmeside, præcis som en bruger i et bestemt land eller en bestemt by ville se den, hvilket er afgørende for korrekt prisovervågning og lokaliseret markedsanalyse.

Oven på proxylaget ligger en række værktøjer, der fjerner det tekniske besvær. Web Scraper API leverer over 120 færdige scrapers til kendte websteder, så man slipper for selv at vedligeholde indsamlingslogikken. SERP API henter søgeresultater fra Google, Bing og andre i realtid, mens Web Unlocker og Scraping Browser håndterer CAPTCHA, JavaScript rendering og rotation af browser fingeraftryk. Har man hverken tid eller behov for egen opsætning, kan man købe færdige datasæt direkte.

For en dansk webshop kan ThorData bruges til at overvåge konkurrenters priser på tværs af markeder og justere egne priser løbende, uden at en medarbejder manuelt skal tjekke hjemmesider. En marketingafdeling kan følge, hvordan virksomheden og dens konkurrenter rangerer på centrale søgeord over tid via SERP API. En B2B virksomhed kan opbygge og opdatere lister over potentielle kunder ud fra offentligt tilgængelige virksomhedsoplysninger.

Et voksende anvendelsesområde er datagrundlag til AI. Skal man finjustere en model eller fodre en søgeagent med aktuel information, kræver det struktureret, opdateret webdata i mængder, og her fungerer proxyer og scraping API'er som den rørledning, der leverer materialet løbende.

ThorData afregnes forbrugsbaseret, typisk pr. GB trafik eller pr. 1.000 forespørgsler, alt efter hvilket produkt man bruger. Residential proxyer prissættes pr. GB, mens API'er som SERP og Web Scraper afregnes pr. 1.000 svar eller resultater. Prisen pr. enhed falder markant, jo større mængder man køber.

Det bemærkelsesværdige ved ThorData er prisniveauet: pris pr. GB ligger typisk 70 til 90 % under de store premium udbydere ved sammenlignelige mængder. Da priserne er angivet i USD og ofte ændres med kampagner, bør de konkrete tal altid verificeres direkte hos leverandøren på thordata.com, før man lægger et budget.

De mest oplagte alternativer er Bright Data og Oxylabs. Begge er større, mere etablerede udbydere med omfattende dokumentation, stabil IP kvalitet og support, der er gearet til virksomhedskunder. De håndterer også de allersværeste platforme mere pålideligt. Til gengæld er de markant dyrere.

ThorDatas styrke er prisen, og det gør platformen attraktiv til projekter, hvor en lille fejlrate er acceptabel og kan håndteres med automatiske gentagne forsøg. Omvendt er ThorData en yngre og mindre aktør med begrænset og blandet omtale. Anmeldelser peger på svingende support og varierende IP kvalitet, og enkelte stærkt beskyttede platforme som Instagram og Google AdSense fungerer ikke altid pålideligt. Et tredje alternativ, Decodo (tidligere Smartproxy), placerer sig prismæssigt mellem de to yderpunkter.

ThorData passer bedst til prisfølsomme teams, der skal indsamle offentlige webdata i stor skala, og som har de tekniske ressourcer til selv at håndtere fejl og opsætning. Til prisovervågning, SERP tracking og dataindsamling i volumen er platformen et fornuftigt og økonomisk valg.

Kræver opgaven derimod næsten perfekt succesrate, hurtig support eller adgang til de tungest beskyttede platforme, er en premium udbyder ofte pengene værd. Uanset valg gælder det, at web scraping har juridiske og etiske rammer, GDPR, ophavsret og det enkelte websteds vilkår, og lovligheden af den konkrete dataindsamling bør altid vurderes.

At komme i gang med ThorData kræver en konto, valg af det produkt der passer til opgaven, og en grundlæggende forståelse af, hvordan man kalder API'et eller konfigurerer proxyforbindelsen. Web Scraper API er det letteste udgangspunkt, fordi de færdige scrapers fjerner det meste af det tekniske arbejde. Det vigtigste er at starte småt, måle succesraten på en afgrænset opgave og derefter skalere.

Skal valget af proxy udbyder og scraping stack hænge sammen med en bredere data- eller automatiseringsløsning, kan Lodværk hjælpe med at vurdere, om ThorData er det rette valg til netop jeres behov, og med at få indsamlingen sat lovligt og driftssikkert op.