Co je škrábání a v jakých případech se tento způsob zpracování používá?

Konkurence mezi největšími maloobchodníky vedla k použití speciálního typu botů – škrabáků – ke špehování cen a produktů hráčů na trhu. Stejná technologie se používá k čištění webových stránek, což je nezbytné pro dobrou indexaci ve vyhledávačích a komerčních agregátorech cen. Hi-Tech upravil a rozšířil článek WIRED, aby zjistil, jak rozlišit dobré roboty od špatných a jak společnosti používají chytré telefony ke shromažďování informací o svých konkurentech.

Přečtěte si „Hitech“ v

Scrappers a tajný internetový závod ve zbrojení

Maloobchodníci od Amazonu a Walmartu až po malé startupy chtějí vědět, co vyrábí jejich konkurenti. Skuteční maloobchodníci posílají takzvané mystery shoppery do obchodů svých konkurentů, aby vyvodili závěry o cenové politice. Ale online není potřeba takový zkušební nákup. Velcí maloobchodníci prodávají miliony různých produktů. A je zcela nepraktické nutit pracovníky, aby kontrolovali každou položku a ručně upravovali ceny. Společnosti místo toho používají software ke studiu webových stránek svých konkurentů a ke shromažďování cen. Tento proces se nazývá škrábání (z anglického „scraping“ – „High-tech“). Společnosti tak upravují své vlastní ceny na základě informací o konkurentech.

• Vytvářejte seznamy dodavatelů, výrobců, prodejců a dalších pro komerční použití. Kontaktní informace jsou získávány z různých webových stránek.
• Sběr cílených informací pro marketingový výzkum.
• Hledejte volná místa nebo zaměstnance.
• Sledování a porovnávání cen zboží v různých obchodech.
• Snížení závislosti na přístupu k internetu – stahování dat z různých stránek pro offline čtení.

Podle Alexandra Galkina, generálního ředitele společnosti Competera pro optimalizaci maloobchodních cen, vytváří Amazon a Walmart celá oddělení věnovaná scrapingu. Jiní se obracejí na společnosti jako Competera. Shromažďují údaje o cenách z celého internetu, od prodejce obuvi Nine West až po průmyslové vybavení Deelat, a používají algoritmy strojového učení, aby pomohli svým zákazníkům rozhodnout, kolik zaplatit za různé produkty.

Walmart neodpověděl na otázky týkající se tohoto provozního mechanismu. Amazon také nereagoval na dotazy ohledně používání scrapingu. Zakladatelé společnosti Diapers.com, kterou Amazon získal v roce 2010, ale obvinili Amazon z používání takových botů k automatické úpravě cen. Tento proces je popsán v knize Brada Stonea The Everything Store.

Seškrabávání se může zdát zlověstné, ale je to součást online. Google a Bing také škrábou webové stránky, aby je indexovaly pro své vyhledávače. Akademici a novináři používají ke sběru dat software. Někteří klienti společnosti Competera, včetně společností Acer-Europa a Panasonic, využívají službu Brand Intelligence. Tímto způsobem se dozvědí, kteří maloobchodníci účtují za své produkty, aby zajistili dodržování cenových dohod.

Maskování robotů a jejich lov

Šrotování staví maloobchodníky do zajímavé a kontroverzní pozice. Chtějí vidět, co dělají jejich konkurenti, ale na druhou stranu chtějí svým rivalům zabránit ve sledování jejich vlastních akcí. Kromě toho musí prodejci chránit své duševní vlastnictví: fotografie a popisy produktů, které lze upravit a znovu použít bez svolení ostatních. Podle Joshe Shaula, viceprezidenta pro webovou bezpečnost ve společnosti Akamai Technologies, mnoho lidí používá ochranu k podkopání algoritmu scraping. Jedním ze způsobů je ukázat různé ceny skutečným lidem a robotům. Stránka může ukazovat astronomicky vysokou nebo nulovou cenu, aby se roboty shromažďující data okamžitě vyřadily.

Tato nadměrná ochrana dat vytváří půdu pro nové zločiny. Luminati pomáhá klientům, včetně Competery, maskovat roboty, aby se vyhnuli odhalení. Jedna ze služeb dělá z robotů běžné uživatele chytrých telefonů.

Služba Luminati se podobá botnetu, síti počítačů obsahujících malware, který používají hackeři k útokům. Namísto tajného únosu zařízení Luminati doporučuje vlastníkům zařízení, aby přijali jeho software spolu s jinou aplikací. Například uživatelé, kteří si stahují MP3 Cutter z Beka pro Android, mají na výběr, zda chtějí zobrazovat reklamy nebo povolit aplikaci používat „některé ze zdrojů zařízení (WiFi a velmi omezená mobilní data). Pokud aplikaci povolíte používat vaše zdroje, bude váš telefon několik sekund denně používán pro účely Luminati. K tomu dochází, když je nečinný předávat požadavky od robotů svých klientů a platit vývojáři aplikace. Beka tuto situaci také nekomentuje.

Boj proti botům vyvolává logickou otázku: jak je odhalit? Je to složité. Někdy boti skutečně řeknou webům, které navštěvují, že jsou roboty. Když software přistupuje na webový server, odešle na stránku spolu se svým požadavkem i malou informaci. Běžné prohlížeče se hlásí jako Google Chrome, Microsoft Edge nebo jiné. Boti tento proces používají k tomu, aby serveru řekli, že jsou robot. Ale umí i lhát. Jedním ze způsobů, jak odhalit roboty, je měřit frekvenci, s jakou se návštěvník dostane na web. Pokud návštěvník zadá stovky požadavků za minutu, je to s největší pravděpodobností bot. Další běžnou praxí je podívat se na adresu internetového protokolu návštěvníka. Pokud například pochází ze služby cloud computingu, je to jasná známka toho, že se jedná o robota a nikoli běžného uživatele internetu.

Robot ve smartphonu: proč bude emocionalita hlavní konkurenční výhodou pro chatboty

Shaul věří, že techniky, jako je maskování provozu botů, učinily sledování podle internetové adresy „téměř k ničemu“. Captcha může pomoci, ale pro skutečné uživatele je nepohodlná. Akamai tedy zkouší jiné metody. Místo toho, aby jen hledal společné chování mezi všemi roboty, hledá společné chování mezi skutečnými lidmi a předává tyto uživatele dál.

Když stisknete tlačítko na telefonu, mírně s ním pohnete. Tento pohyb je detekován pomocí akcelerometru a gyroskopu telefonu a odeslán na servery Akamai. Přítomnost údajů o pohybu telefonu minutu po minutě je vodítkem, že uživatel je skutečná osoba, a její nepřítomnost naznačuje, že uživatel může být bot.

Generální ředitel Luminati Ofer Wilensky říká, že společnost zatím nenabízí řešení těchto problémů kvůli neobvyklé povaze této praxe. Shaul si ale myslí, že je jen otázkou času, kdy budou boti úspěšně dopadeni. Pak přijde čas na další kolo vývoje. A začne pořádný závod ve zbrojení.

Dobří a špatní roboti

Jednou z velkých výzev pro Akamai a další společnosti, které se snaží řídit provoz související s činností botů, je potřeba umožnit některým z nich seškrabovat stránky. Pokud weby blokují roboty jako třídu, nezobrazí se ve výsledcích vyhledávání. Maloobchodníci také obvykle chtějí, aby se jejich ceny a položky zobrazovaly na srovnávacích webech, jako jsou Nákupy Google a Pricegrabber.

„Ve skutečnosti existuje tolik různých situací, kdy se scraping používá na internetu k dobrému, špatnému nebo někde mezi tím,“ říká Shaul. „V Akamai máme mnoho zákazníků, kteří k nám přišli, aby nám pomohli vypořádat se s problémem robotů, nikoli lidí navštěvujících jejich stránky.“

10 podnikatelů hovoří o tom, jak jim nové technologie pomáhají v životě a podnikání

Některé společnosti se samy zabývají analýzou obsahu (shromažďováním informací na základě seznamu klíčových slov – „High-Tech“). Andrew Fogg je spoluzakladatelem společnosti s názvem Import.io, která nabízí webové nástroje pro čištění dat. Fogg řekl, že jedním z klientů Import.io je velký maloobchodník, který má dva systémy zásob: jeden pro své skladové operace a jeden pro své online prodejní stránky. Tyto systémy však pravidelně potřebují synchronizaci. A společnost reviduje své vlastní webové stránky, aby hledala nesrovnalosti. Společnost může své databáze úžeji integrovat, ale vyčištění je nákladově efektivnější, alespoň z krátkodobého hlediska.

Ostatní scrapperi žijí v šedé zóně. Například Shaul uvádí příklad leteckých společností. Srovnávače letenek mohou posílat dotazy společnostem a ty budou chtít, aby se jejich lety objevily ve výsledcích vyhledávání na těchto stránkách. Mnoho leteckých společností se ale při správě svých rezervačních systémů spoléhá na externí společnosti – například Amadeus IT a Saber. Když zobrazíte informace o letech prostřednictvím těchto společností, letecká společnost zaplatí provizi rezervačnímu systému. Tyto poplatky se sčítají, pokud velký počet robotů neustále kontroluje umístění leteckých společností a informace o cenách.

Shaul poznamenává, že Akamai řeší tento problém u některých leteckých společností tím, že zobrazuje botům informace o cenách uložených v mezipaměti. Nemusí tak kontaktovat externí společnosti pokaždé, když robot kontroluje jejich ceny a dostupnost. Boti nedostanou nejnovější informace, ale získají dostatek nových dat, aby se vyhnuli poplatkům leteckých společností.

Je tu však i problematičtější doprava. Například distribuované odmítnutí služby nebo DDoS útoky, které jsou zaměřeny na pád webové stránky. Podle insidera Amazon neblokuje roboty, včetně cenových scraperů. Společnost ale „upřednostňuje lidi, když je nejdůležitější, aby jim poskytla nákupní zážitek, který naši zákazníci od Amazonu očekávají“.

Fogg je přesvědčen, že Import.io také není příliš blokován. Společnost se snaží být „dobrým policajtem“ tím, že nedovoluje svému softwaru příliš často čistit servery nebo jinak spotřebovávat velké množství zdrojů.

Wilensky poznamenává, že klienti Luminati mají dobré důvody předstírat, že nejsou roboty. Někteří majitelé stránek se například chtějí ujistit, že inzerenti zobrazují návštěvníkům stránek stejné reklamy, jaké se zobrazují jim.

Všichni však byli v roce 2015 překvapeni, když byla podobná služba její dceřiné společnosti Hola VPN použita k DDoS útoku na web 8chan. Začátkem toho měsíce bylo rozšíření Hola VPN pro Chrome obviněno z krádeže hesel od uživatelů kryptoměnové služby MyEtherWallet. Hola VPN v prohlášení uvedla, že účet aplikace Google Chrome Store byl kompromitován. To umožnilo útočníkům přidat do jeho rozšíření malware. Wilensky říká, že společnost své klienty důkladně prověřuje, včetně videohovoru a dalšího ověření identity potenciálního klienta. Údajné škodlivé aktivity služby Luminati odmítl komentovat. Ať tak či onak, Wilensky poznamenává, že tržby společnosti se v loňském roce ztrojnásobily.