Věda o datech v cloudu pomocí aplikace ScraperWiki

Pokud máte mentální kotlety, náladu pro programování a vyprávění příběhů a oko pro design, můžete udělat horší než se dostat do vědy o datech. Je to nová velká věc v technologii; vysoce trendy a vysoce placené, přičemž vědci v oblasti dat vyhledávají některé z největších společností na světě.

ScraperWiki je společnost, která se dlouhodobě spojuje s oborem datové vědy. V posledních několika letech toto spuštění založené na Liverpoolu nabídlo platformu pro kodéry pro psaní nástrojů, které získávají data, čistí je a analyzují je v cloudu.

S nedávným obnovením a stále rostoucí poptávkou po vědcích v oblasti dat stojí za to se dobře podívat na ScraperWiki..

Úplné zveřejnění: Minulé léto jsem byl stážistou na ScraperWiki.

Co dělá ScraperWiki??

ScraperWiki se prodává jako místo, kde lze získávat, čistit a analyzovat data, a přináší to při každém z těchto počtů. Ve své nejjednodušší podobě vám - uživateli - umožňuje místo, kde můžete psát kód, který načítá data ze zdroje, nástroje pro jejich převedení do formátu, který lze snadno analyzovat, a úložiště pro uchování pro pozdější vizualizaci - zvládne také s ScraperWiki.

Také přichází s řadou předpřipravených nástrojů, které automatizují opakující se úkoly, včetně získávání dat z PDF, které je notoricky obtížné dekódovat. Toto je kromě hledání na Twitteru 5 skvělých triků pro hledání na Twitteru, které sledují, co o vás lidé říkají. 5 Skvělých triků pro hledání na Twitteru, které sledují, co o vás lidé říkají, pokud vlastníte web nebo se jen snažíte vydělávat peníze online jako nezávislý pracovník, vždy je dobré vědět, co o vás lidé říkají přes internet. Lidé mohou citovat ... a škrábat pomůcky. K jejich použití nepotřebujete žádné zkušenosti s vývojem softwaru.

Náklady

Jak již bylo zmíněno, ScraperWiki zahrnuje model cen freemium a nabízí službu, která má více úrovní. Ti, kteří teprve začínají s vědou o údajích nebo s omezenými potřebami, mohou využít bezplatnou službu. To vám poskytne tři datové sady - kde ukládáte data a kód.

Ti, kteří plánují psát více škrabek nebo chtějí dělat hory analýzy dat, mohou vydělat nějaké peníze na prémiový účet. Ty začínají na 9 $ měsíčně a nabízejí 10 datových sad. Pokud to stále nestačí, můžete vždy upgradovat na nejvyšší úroveň, která přichází se 100 datovými sadami a stojí 29 $ měsíčně.

Kódování

Programátoři jsou často velmi konkrétní, pokud jde o to, jak kódují. Někteří preferují skriptovací jazyky před kompilovanými jazyky. Někteří preferují zážitek pared-back textového editoru před integrovaným vývojovým prostředím (IDE). ScraperWiki to uznává a dává uživateli obrovský výběr, pokud jde o způsob psaní kódu.

Pokud jste tak nakloněni, můžete svůj kód napsat do prohlížeče. Jak byste očekávali od jakéhokoli profesionálního webu založeného na nejlepších 3 IDE založených na prohlížeči, které kódují v cloudu Nejlepší 3 IDE na bázi prohlížeče, které se kódují v vývojovém nástroji Cloud, přichází s funkcemi, které by jakýkoli programátor zvážil být zásadní, jako je zvýraznění syntaxe.

Existuje celá řada jazyků. Patří mezi ně Python 5 nejlepších webů, které se naučí programování Python 5 nejlepších webů, které se naučí programování Python Chcete se naučit programování Python? Zde jsou nejlepší způsoby, jak se naučit Python online, z nichž mnohé jsou zcela zdarma. , populární skriptovací jazyk používaný uživateli jako Google a NASA; Ruby 3 Interaktivní, zábavné a bezplatné způsoby, jak začít s učením Programovací jazyk Ruby 3 Interaktivní, zábavné, bezplatné způsoby, jak začít s učením Ruby, programovací jazyk Ruby je expresivní, velmi vysoký, skriptovací jazyk. Používá se na webu hlavně jako součást rámce pro vývoj webových aplikací Ruby on Rails, ale také jako samostatný. Pokud jste zvědaví, co Ruby (ne…, které pohání řadu populárních webů, jako je Living Social, a populární jazyk statistické analýzy, R.

Kromě toho můžete také psát kód z příkazového řádku pomocí SSH, Git a libovolného textového editoru, který vás baví. Ano, čtete to správně. SSH Co je SSH a jak se liší od FTP [Vysvětlivá technologie] Co SSH je a jak se liší od FTP [vysvětlení technologie]. Každé pole, které používáte, má svůj vlastní linuxový účet a můžete se k němu připojit stejně jako u účtu VPS nebo jiného shellového účtu. K dispozici je řada textových editorů, včetně Vim Prvních 7 důvodů, proč dát textovému editoru Vim šanci Nejlepších 7 důvodů, proč dát textovému editoru Vim šanci Pro roky jsem zkoušel jeden textový editor za druhým. Jmenuješ to, zkusil jsem to. Každý z těchto editorů jsem používal více než dva měsíce jako svůj primární každodenní editor. Nějak jsem ... který lze rozšířit o pluginy a úpravou konfigurace. Ti, kteří Vim zastraší, mohou použít Nano, což je lehký textový editor příkazového řádku.

Nainstalované knihovny by měly stačit k tomu, aby nástroje pro psaní získaly data a zpracovaly je. Pokud potřebujete něco trochu temnějšího, můžete z příkazového řádku vždy vytvořit virtuální název. Jak vidíte, vývojářům je poskytována obrovská flexibilita.

Vizualizace dat

Takže máte svá data. Normalizovali jste to. Vyčistili jste to. Analyzovali jste to. Nyní je čas udělat nějakou vizualizaci a ukázat světu, co jste se naučili.

ScraperWiki umožňuje vývojářům zobrazovat svá data pomocí webových stránek vytvořených ze všech známých trifectů HTML, CSS a JavaScript. Kromě toho jsou komponenty Bootstrap podporovány již po vybalení.

K dispozici je řada předem připravených vizualizací, včetně těch, které vykreslují vaše data na mapu a nacházejí trendy ve vašich zjištěních. Chcete-li je použít, musíte zajistit, aby vaše data byla uložena jako soubor SQLite s názvem 'scraperwiki.sqlite'. Pak jednoduše přidáte vizualizaci, která vás zajímá. Jednoduchá, správně?

Závěr

ScraperWiki nabízí hodně vývojářům, kteří chtějí provést nějakou analýzu dat, aniž by jim bránilo jejich vývojové prostředí, a zároveň mají flexibilitu, aby uspokojili i ty nejnáročnější uživatele. Ale co si myslíš? Dejte mi vědět v komentářích níže.
Fotografický kredit: Rocket Science (Dan Brown)