5 siste datavitenskapelige verktøy du bør bruke med Python

Python har fått et rykte for sin allsidighet og mange verktøy, noe som gjør det til det foretrukne språket for datavitenskap. Mange biblioteker har oppmuntret til innovasjon på dette feltet. For å forbedre ferdighetene dine og utforske nye muligheter, er det viktig å holde deg oppdatert med nye verktøy.

1. ConnectorX: Forenkler lasting av data

Mens de fleste data ligger i databaser, forekommer beregninger vanligvis utenfor dem. Likevel kan overføring av data til og fra databaser for faktisk arbeid føre til nedganger.

ConnectorX laster data fra databaser inn i mange vanlige verktøy for datakrangel i Python, og det holder ting raskt ved å minimere mengden arbeid som skal gjøres.

ConnectorX bruker et Rust-programmeringsspråkbibliotek i sin kjerne. Dette gir mulighet for optimaliseringer som å kunne laste fra en datakilde parallelt med partisjonering. Data i PostgreSQL-databasen

, for eksempel kan du laste den på denne måten ved å spesifisere en partisjonskolonne.

IConnectorX støtter også lesing av data fra ulike databaser, inkludert MySQL/MariaDB, SQLite, Amazon Redshift, Microsoft SQL Server, Azure SQL og Oracle.

Du kan transformere resultatene til Pandas eller PyArrow DataFrames, eller omdirigere dem til Modin, Dask eller Polars ved å bruke PyArrow.

2. DuckDB: Styrke arbeidsbelastninger for analytiske spørringer

DuckDB bruker et kolonneformet datalager og optimerer for langvarige arbeidsbelastninger for analytiske spørringer. Den tilbyr alle funksjonene du forventer fra en konvensjonell database, inkludert ACID-transaksjoner.

Videre kan du sette den opp i et Python-miljø med en enkelt pip-installasjonskommando, noe som eliminerer behovet for en separat programvarepakkekonfigurasjon.

DuckDB tar inn data i CSV-, JSON- eller Parkett-format. DuckDB forbedrer effektiviteten ved å dele opp resulterende databaser i separate fysiske filer i henhold til nøkler som år og måned.

Når du bruker DuckDB for spørring, oppfører den seg som en vanlig SQL-drevet relasjonsdatabase, men med ekstra funksjoner som å ta tilfeldige dataprøver og lage vindusfunksjoner.

Dessuten gir DuckDB nyttige utvidelser som fulltekstsøk, Excel-import/eksport, direkte tilkoblinger til SQLite og PostgreSQL, eksporterer filer i parkettformat, og støtter ulike vanlige geospatiale dataformater og typer.

3. Optimus: Effektivisering av datamanipulering

Rensing og klargjøring av data for DataFrame-sentriske prosjekter kan være en av de mindre misunnelsesverdige oppgavene. Optimus er et alt-i-ett-verktøysett designet for å laste, utforske, rense og skrive data tilbake til ulike datakilder.

Optimus kan bruke Pandas, Dask, CUDF (og Dask + CUDF), Vaex eller Spark som sin underliggende datamotor. Du kan laste fra og lagre tilbake til Arrow, Parkett, Excel, ulike vanlige databasekilder eller flate filformater som CSV og JSON.

Datamanipulasjons-APIet i Optimus er som Pandas, men det tilbyr mer .rows() og .cols() tilbehør. Disse tilbehørene gjør ulike oppgaver mye enklere å utføre.

Du kan for eksempel sortere en DataFrame, filtrere den basert på kolonneverdier, endre data ved hjelp av spesifikke kriterier, eller begrense operasjoner basert på visse forhold. Dessuten inkluderer Optimus prosessorer designet for å håndtere vanlige datatyper i den virkelige verden som e-postadresser og URL-er.

Det er viktig å være klar over at Optimus for tiden er under aktiv utvikling, og den siste offisielle utgivelsen var i 2020. Som et resultat kan den være mindre oppdatert sammenlignet med andre komponenter i stabelen din.

4. Polarer: Accelerating DataFrames

Hvis du finner deg selv å jobbe med DataFrames og frustrert over ytelsesbegrensningene til Pandas, Polarer er en utmerket løsning. Dette DataFrame-biblioteket for Python tilbyr en praktisk syntaks som Pandas.

I motsetning til Pandaer, bruker Polars et bibliotek skrevet i Rust som maksimerer maskinvarens muligheter ut av esken. Du trenger ikke bruke spesiell syntaks for å nyte ytelsesforbedrende funksjoner som parallell prosessering eller SIMD.

Selv enkle operasjoner som å lese fra en CSV-fil er raskere. I tillegg tilbyr Polars både ivrige og lat utførelsesmoduser, som tillater umiddelbar kjøring av spørringer eller utsatt til det er nødvendig.

Den gir også et streaming-API for inkrementell spørringsbehandling, selv om denne funksjonen kanskje ikke er tilgjengelig for alle funksjoner ennå. Rustutviklere kan også lage sine egne Polars-utvidelser ved hjelp av pyo3.

5. Snakemake: Automatisering av datavitenskapelige arbeidsflyter

Å sette opp datavitenskapelige arbeidsflyter byr på utfordringer, og det kan være enda vanskeligere å sikre konsistens og forutsigbarhet. Slangemake løser dette ved å automatisere dataanalyseoppsett i Python, og sikre konsistente resultater for alle.

Mange eksisterende datavitenskapelige prosjekter er avhengige av Snakemake. Etter hvert som arbeidsflyten din for datavitenskap blir mer kompleks, blir det fordelaktig å automatisere den med Snakemake.

Snakemake arbeidsflyter ligner GNU lage arbeidsflyter. I Snakemake definerer du ønskede utfall ved hjelp av regler, som spesifiserer input, output og nødvendige kommandoer. Du kan gjøre arbeidsflytregler flertrådede for å få fordeler av parallell behandling.

I tillegg kan konfigurasjonsdata stamme fra JSON/YAML-filer. Arbeidsflyter lar deg også definere funksjoner for transformering av data som brukes i regler og logging av handlinger som utføres ved hvert trinn.

Snakemake designer jobber for å være bærbare og distribuerbare i Kubernetes-administrerte miljøer eller spesifikke skyplattformer som Google Cloud Life Sciences eller Tibanna på AWS.

Du kan fryse arbeidsflyter for å bruke et presist pakkesett, og utførte arbeidsflyter kan lagre genererte enhetstester med dem. For langsiktig arkivering kan du lagre arbeidsflyter som tarballs.

Ved å omfavne disse nyeste datavitenskapelige verktøyene kan du øke produktiviteten din, utvide evnene dine og legge ut på spennende datadrevne reiser. Husk likevel at det datavitenskapelige landskapet utvikler seg. For å holde deg i forkant, fortsett å utforske, eksperimentere og tilpasse deg de nye verktøyene og teknikkene som dukker opp i dette skiftende feltet.