Gjør datavitenskap i skyen med ScraperWiki

Annonse

Hvis du har mentale koteletter, en teft for programmering og historiefortelling og et øye for design, kan du gjøre det verre enn å gå inn i datavitenskap. Det er den nye store tingen innen teknologi; svært trendy og høyt betalte, med dataforskere som blir søkt av noen av de største selskapene i verden.

ScraperWiki er et selskap som lenge har vært tilknyttet det datavitenskapelige feltet. I løpet av de siste årene har denne Liverpool-baserte oppstarten tilbudt en plattform for kodere å skrive verktøy som skaffer data, renser den og analyserer dem i skyen.

Med en nylig oppfriskning og den stadig økende etterspørselen etter dataforskere i bedriften, er det verdt å ta en titt på ScraperWiki.

Full avsløring: Jeg var praktikant på ScraperWiki i fjor sommer.

Hva gjør ScraperWiki?

ScraperWiki markedsfører seg selv som et sted å få, rengjøre og analysere data, og det leverer på hvert av disse tellene. I sin enkleste form lar den deg - brukeren - et sted hvor du kan skrive kode som henter data fra en kilde, verktøy for å konvertere det til et format som er enkelt å analysere og lagre for å beholde det for senere visualisering - som du også kan håndtere med ScraperWiki.

Den kommer også med en rekke forhåndsbygde verktøy som automatiserer repeterende oppgaver, inkludert få data fra PDF-filer, som er notorisk vanskelig å avkode. Dette er i tillegg til Twitter søker 5 kule Twitter-triks for å overvåke hva folk sier om degHvis du eier et nettsted eller bare prøver å tjene penger på nettet som frilanser, er det alltid godt å vite hva folk sier om deg over Internett. Folk siterer kanskje ... Les mer og skrapeverktøy. Du trenger ikke erfaring med programvareutvikling for å bruke disse.

Koste

Som tidligere nevnt inkluderer ScraperWiki freemium-prismodellen og tilbyr en tjeneste som har flere nivåer. De som nettopp kommer i gang med datavitenskap eller med begrensede behov, kan benytte seg av gratis tjenesten. Dette gir deg tre datasett - der du lagrer data og kode.

De som planlegger å skrive flere skrapere eller som ønsker å gjøre fjell av dataanalyse, kan dele ut litt penger for en premiumkonto. Disse starter på $ 9 per måned og tilbyr 10 datasett. Hvis det fortsatt ikke er nok, kan du alltid oppgradere til deres høyeste nivå som leveres med 100 datasett og koster $ 29 per måned.

Coding

Programmerere er ofte ganske spesielle når det gjelder hvordan de koder. Noen foretrekker skriptspråk fremfor kompilerte språk. Noen foretrekker pared-back opplevelsen av en tekstredigerer fremfor opplevelsen av et integrert utviklingsmiljø (IDE). ScraperWiki kjenner seg igjen i det, og gir brukeren enormt mye valg når det gjelder hvordan du skriver koden.

Hvis du er så tilbøyelig, kan du skrive koden i nettleseren. Som du forventer av en hvilken som helst profesjonell karakter, web-baserte De tre beste nettleserbaserte IDE-kodene som skal kodes i skyen Les mer utviklingsverktøy, dette kommer med funksjoner som enhver programmerer vil anse som essensielt, for eksempel syntaksutheving.

Det er en rekke språk som tilbys. Disse inkluderer Python De 5 beste nettstedene for å lære Python-programmeringVil du lære Python-programmering? Her er de beste måtene å lære Python online, hvorav mange er helt gratis. Les mer , et populært manusspråk som brukes av Google og NASA; Rubin 3 interaktive, morsomme, gratis måter å begynne å lære seg det rubin programmeringsspråketRuby er et ekspressivt, skriptspråk på høyt nivå. Den brukes hovedsakelig på nettet som en del av rammeverket for utvikling av nettet, men også frittstående. Hvis du er nysgjerrig på hva Ruby (ikke ... Les mer , som makter en rekke populære nettsteder som Living Social; og det populære statistiske analysespråket, R.

I tillegg kan du også skrive kode fra kommandolinjen ved å bruke SSH, Git og hva teksteditor du liker å bruke. Ja, du har lest det riktig. SSH Hva SSH er og hvordan det er forskjellig fra FTP [Technology Explained] Les mer . Hver boks du bruker er sin egen Linux-konto, og du kan koble til den på samme måte som en VPS eller en annen shell-konto. Det er en rekke tekstredigerere tilgjengelig, inkludert Vim De 7 viktigste grunnene til å gi Vim-tekstredigereren en sjanseI årevis har jeg prøvd den ene tekstredigereren etter den andre. Du heter det, jeg prøvde det. Jeg brukte hver og en av disse redaktørene i over to måneder som min primære daglige redaktør. På en eller annen måte, jeg ... Les mer som kan utvides med plugins og ved å redigere konfigurasjonen. De som er skremt av Vim kan bruke Nano, som er en lett kommandolinjetekstredaktør.

Bibliotekene som er installert, skal være tilstrekkelige til å skrive verktøy for å hente data og til å behandle dem. Hvis du trenger noe litt mer uoversiktlig, kan du alltid opprette en virtualenv fra kommandolinjen. Som du kan se, er det enorm fleksibilitet som utviklerne gir.

Datavisualisering

Så, du har dataene dine. Du har normalisert det. Du har renset den. Du har analysert det. Nå er det på tide å gjøre noe visualisering og vise verden hva du har lært.

ScraperWiki lar utviklere vise dataene sine ved hjelp av websider konstruert fra den velkjente trifekta av HTML, CSS og JavaScript. I tillegg støttes Bootstrap-komponenter utenfor boksen.

Det er en rekke forhåndslagde visualiseringer tilgjengelige, inkludert de som plotter dataene dine på et kart og finner trender i funnene dine. For å bruke disse, må du forsikre deg om at dataene dine er lagret som SQLite-fil med filnavnet ‘scraperwiki.sqlite’. Så legger du ganske enkelt til visualiseringen du er interessert i. Enkelt, ikke sant?

Konklusjon

ScraperWiki tilbyr mye til utviklere som ønsker å gjøre noe dataanalyse uten at utviklingsmiljøet kommer i veien, mens de har fleksibilitet til å tilfredsstille selv de mest krevende av brukerne. Men hva tror du? Gi meg beskjed i kommentarene nedenfor.
Fotokreditt: Rocket Science (Dan Brown)