Provádějte vizionářské výzkumy na webu pomocí hlubokých webových dat a webových dotazů aplikace Excel

Co byste řekl, kdybych vám řekl, že máte k dispozici nástroje k provádění průlomového výzkumu ničení Země? Dobře, uděláte a ukážu vám jak.

Vlády, akademické instituce a neziskové výzkumné organizace zveřejňují tabulky plné dat pro veřejnost. Bez toho, aby kdokoli použil tyto informace, nebude jeho skutečná hodnota nikdy známa. Bohužel málokdo má vhled, dovednosti nebo nástroje pro sběr dat a vytváření zajímavých korelací mezi zdánlivě nespojenými informacemi..

Pozadí

Mnoho výzkumů, které dělám pro svůj vlastní blog, spočívá v kopání toho, co je známé jako neviditelný web. 12 nejlepších vyhledávačů k prozkoumání neviditelného webu 12 nejlepších vyhledávačů k prozkoumání neviditelného webu Google nebo Bing nemůže hledat všechno . Chcete-li prozkoumat neviditelný web, musíte použít tyto speciální vyhledávače. , odhalit data, která byla zveřejněna, ale skrytá před vyhledávači. 5 nejpokročilejších vyhledávačů na webu 5 nejpokročilejších vyhledávačů na webu v online databázi. Toto je hluboký web TorSearch se snaží být Google pro Deep Web TorSearch se snaží být Google pro Deep Web Tor je skrytá služba a část Deep Web. TorSearch je nový anonymní vyhledávač, který chce vytvořit jeho zakladatel Chris MacNaughton “Google of Tor”. , a je to řada cenných dat. Velmi často se setkávám s webovými stránkami, které jsou naplněny několika nejcennějšími údaji o tématech, která spouští gamut od sčítání lidu po epidemiologická studia vzácných onemocnění. Neustále mám nové nápady, jak zkusit a porovnat tyto nesourodé zdroje dat pomocí různých nástrojů - a jedním z nejcennějších nástrojů, které jsem našel, je webový dotaz uvnitř aplikace Microsoft Excel.

Nalezení zajímavých korelací dat

To, co vám dnes ukážu, je příklad toho, jak můžete využít Excel Web Queries k načtení dat z různých webů a jejich mapování proti sobě, abyste mohli hledat možné korelace mezi údaji..

Způsob, jak zahájit takové cvičení, je přijít se zajímavou hypotézou. Například - abych zde udržel věci zajímavé - náhodně si představím, že prudký nárůst autismu ve Spojených státech je způsoben buď očkováním vakcínami nebo rostoucí přítomností elektromagnetických polí u dětí a kolem nich, jako jsou mobilní telefony. Je to šílená hypotéza, jakou se vám líbí na většině webových stránek o spiknutí, ale to je to, co tuto zábavu dělá. Pojďme tedy začít?

Nejprve otevřete Excel, přejděte na položku nabídky dat a najděte “Z webu” ikona v nabídce pásu karet.

To je to, co použijete k importu různých datových tabulek z mnoha webových stránek, které je publikovaly.

Import webových dat do Excelu

Takže za starých časů byste se měli pokusit zkopírovat data z této tabulky na webovou stránku, vložit je do Excelu a poté se vypořádat se všemi bláznivými problémy s formátováním, které s tím souvisí. Total hádka, a mnohokrát to prostě nestojí za bolesti hlavy. V aplikaci Excel Web Queries jsou tyto dny pryč. Před importem dat budete samozřejmě muset Google procházet webem, abyste našli potřebná data ve formátu tabulky. V mém případě jsem našel web, který publikoval statistiku ministerstva školství pro počet studentů veřejné školy v USA, kteří byli identifikováni jako autisté. Pěkná tabulka tam uváděla čísla od roku 1994 až do roku 2006.

Stačí kliknout na “Z webu”, vložte adresu URL webové stránky do pole adresy dotazu a poté stránku přejděte dolů, dokud neuvidíte žlutou šipku vedle tabulky s údaji, které chcete importovat.

Klikněte na šipku, aby se stala zelenou značkou.

Nakonec sdělte Excelu, do jaké oblasti chcete vložit data tabulky do své nové tabulky.

Pak - Voila! Data automaticky proudí přímo do tabulky.

S trendem míry autistiky školních škol v letech 1996 - 2006 je tedy čas jít hledat trendy očkování a používání mobilních telefonů.

Naštěstí jsem rychle našel trendy pro účastníky mobilních telefonů v USA od roku 1985 do roku 2012. Vynikající údaje pro tuto konkrétní studii. Znovu jsem použil nástroj Excel Web Query k importu této tabulky.

Importoval jsem tu tabulku do čistého nového listu. Poté jsem objevil vakcinační trendy pro procento školních dětí očkovaných pro různé nemoci. Tuto tabulku jsem importoval pomocí nástroje Web Query do třetího listu. Nakonec jsem měl tři listy se třemi tabulkami naplněnými zdánlivě nespojenými údaji, které jsem objevil na webu.

Dalším krokem je analyzovat data pomocí Excelu a pokusit se identifikovat případné korelace. Zde přichází do hry jeden z mých oblíbených nástrojů pro analýzu dat - kontingenční tabulka.

Analýza dat v Excelu pomocí kontingenční tabulky

Nejlepší je vytvořit kontingenční tabulku ve zcela novém prázdném listu. Chcete použít průvodce pro to, co se chystáte dělat. Chcete-li v aplikaci Excel povolit průvodce kontingenční tabulkou, musíte stisknout klávesu Alt-D současně, dokud se neobjeví okno oznámení. Pak pusťte z těchto tlačítek a stiskněte “P” klíč. Poté se zobrazí průvodce.

V prvním okně průvodce vyberte “Více rozsahů konsolidace”, což vám umožní vybrat data ze všech importovaných listů. Tímto způsobem můžete sloučit všechna tato zdánlivě nesouvisející data do jednoho výkonného otočného stolu. V některých případech může být nutné některá data masírovat. Například jsem musel opravit “Rok” pole v tabulce autismu tak, aby se ukázalo “1994” namísto “1994-95” - díky čemuž se lépe vyrovná tabulkám na ostatních listech, které měly také pole primárního roku.

Toto společné pole mezi daty je to, co potřebujete, abyste mohli zkusit porovnat informace, takže při hledání dat pro web mějte na paměti.

Jakmile je kontingenční tabulka hotová a máte všechny různé hodnoty dat zobrazené v jedné tabulce, je čas provést vizuální analýzu a zjistit, zda existuje nějaké zjevné spojení, které na vás vyskočí.

Vizualizace dat je klíčová

Mít spoustu čísel v tabulce je skvělé, pokud jste ekonom, ale nejrychlejší a nejsnadnější způsob, jak to mít “Aha!” okamžik, kdy se snažíte najít spojení jako jehla v kupce sena, je pomocí grafů a grafů. Jakmile bude váš kontingenční graf na místě se všemi shromážděnými datovými sadami, je čas vytvořit graf. Čárový graf bude obvykle nejlepší, ale záleží na datech. Jsou časy, kdy sloupcový graf funguje mnohem lépe. Pokuste se pochopit, na jaký druh dat se díváte a jaké porovnání formulářů funguje nejlépe.

V tomto případě se dívám na data v čase, takže čárový graf je opravdu nejlepší způsob, jak vidět trendy v průběhu let. Zaznamenávání míry autismu (zelená) proti zmenšené míře vakcinace (tmavě modrá), vakcínám proti kuřicím neštovicím (světle modrá) a používání mobilních telefonů (fialová) se v této vzorové sadě dat, se kterými jsem si hrál, najednou objevila zvláštní korelace..

Kupodivu, trend v používání mobilních telefonů od roku 1994 do roku 2006 téměř dokonale odpovídal stoupání autismu ve stejném časovém období. Ačkoli byl vzor zcela neočekávaný, je to perfektní příklad toho, jak svazování zajímavých dat může odhalit fascinující vedení - poskytuje vám lepší přehled a motivaci k tomu, aby se dále tlačil vpřed a hledal další data, která mohou dále podpořit vaši hypotézu..

Jedna korelace, jako je výše, nic neprokazuje. Postupem času roste spousta trendů - vzorec by mohl být náhoda, ale může to být také důležitá stopa ve vašem pokračujícím hledání dalších dat na internetu. Naštěstí máte výkonný nástroj s názvem Excel Web Queries, který vám tento úkol usnadní.

Fotografický kredit: Kevin Dooley přes photopin cc