Come valutare le competenze di Data Science

Scienza dei dati. Una parola d'ordine moderna. Nell'attuale mondo digitale, è comune scoprire titoli assegnati a ruoli e discipline che non sono ancora universalmente definiti e accettati. Nessuna è più prolifica della scienza dei dati e delle competenze dei data scientist che le vengono attribuite.

In questo articolo analizzeremo il significato di scienza dei dati, le competenze dei data scientist e vi daremo i nostri consigli su come effettuare la migliore selezione per una posizione di data science.

La scienza dei dati in breve

Secondo la società di ricerche di mercato Forrester, entro il 2021 le aziende insight-driven saranno collettivamente valore di $1,8 trilioni di euroche è in aumento rispetto ai $333 miliardi del 2015. Queste "intuizioni" derivano dai dati, che svolgono un ruolo fondamentale nell'aiutare le aziende di maggior successo al mondo a diventare più redditizie. Lo stesso rapporto ha rilevato che le organizzazioni basate sui dati crescono 8 volte più velocemente del PIL globale. Spunti di riflessione.

La capacità di interpretare i dati e di sfruttarne l'utilità è chiaramente un lavoro piuttosto serio. Ma c'è più o meno un consenso sulla mancanza di consenso per quanto riguarda una chiara definizione di scienza dei dati.

Nonostante le difficoltà di definizione del settore, ciò non ha rallentato la creazione di nuovi programmi di specializzazione. con "scienza dei dati" nel nome. A conferma di ciò, un recente analisi del sondaggio di KDNuggets ha mostrato che le lauree con il nome di "scienza dei dati" hanno iniziato a emergere nel 2007, con un enorme picco di iscrizioni nel 2012.

È evidente che le posizioni nella scienza dei dati si trovano su una traiettoria critica della loro vita. Grazie alla scalabilità del settore, sta ricevendo l'attenzione che richiede. Ma senza essere in grado di capire correttamente di cosa si tratta, come possiamo assumere per questo settore?

DevSkiller vi copre su entrambi i fronti.

Che cos'è la scienza dei dati?

Nella sua forma più semplice, la scienza dei dati è la disciplina che si occupa di rendere utili i dati. Il concetto di La scienza dei dati è "unificare la statistica, l'analisi dei dati, l'apprendimento automatico e l'analisi dei dati".e i relativi metodi" al fine di "comprendere e analizzare i fenomeni reali" con i dati.

Tradizionalmente, i dati che potevamo valutare erano per lo più strutturati e di piccole dimensioni, e potevano essere analizzati utilizzando semplici strumenti di BI. A differenza dei dati dei sistemi tradizionali, che erano per lo più strutturati, Oggi la maggior parte dei dati è non strutturata o semi-strutturata. Questa richiesta ha accelerato il ruolo del data scientist.

1.1 Qual è il ruolo di un data scientist?

Un data scientist dovrebbe definire la strategia aziendale in materia di dati, il che implica la definizione di tutti gli aspetti, dall'ingegneria all'infrastruttura per la raccolta dei dati e la registrazione, fino alle questioni relative alla privacy. Decidono quali dati saranno rivolti all'utenteCome i dati verranno utilizzati per prendere decisioni e come verranno integrati nel prodotto. Si occuperanno anche di brevettare soluzioni innovative e di definire gli obiettivi di ricerca. Un elenco delle loro responsabilità di base comprende:

• Sintetizzare tutte le informazioni, le statistiche e i dati disponibili di un'organizzazione,
• Raccolta di informazioni sulle esigenze dell'IA in un'organizzazione,
• Analizzare i dati e trovare potenziali utilizzi con l'IA (talvolta chiamata analisi esplorativa dei dati),
• Spiegare i modelli di dati a colleghi e clienti orientati al business (un processo noto come data storytelling),
• Progettare e preparare modelli di apprendimento automatico,
• Valutare l'efficacia dei modelli nell'ambiente di produzione.

Nel caso in cui non lo sappiate, un modello di apprendimento automatico è un programma che è stato addestrati a riconoscere determinati tipi di schemi. È possibile addestrare un modello su un insieme di dati, fornendogli un algoritmo che può utilizzare per ragionare e imparare da quei dati.

Un Chief Data Scientist deve gestire un team di ingegneri, scienziati e analisti e deve comunicare con la leadership dell'azienda, compresi il CEO, il CTO e la leadership di prodotto. Si occuperà anche di brevettare soluzioni innovative e di definire gli obiettivi di ricerca.

Un popolare Twitter La definizione di data scientist è "qualcuno che è più bravo nelle statistiche di qualsiasi ingegnere del software e più bravo nell'ingegneria del software di qualsiasi statistico".

1.2 Un data scientist è simile a qualsiasi altra posizione?

Molti tipi diversi di analisti sono in grado di "rendere utili" i dati, a partire da un ingegnere dei dati, fino ad arrivare a un analista di dati. esperto qualitativo. Sebbene tutti questi ruoli partecipino alla scienza dei dati, per definirsi data scientist occorre avere competenze in tutte e tre le aree (analitica, statistica e ML/IA).

Per fare un esempio, uno sviluppatore di machine learning svolge un sottoinsieme dei compiti del data scientist, ma si concentra solo sui modelli di machine learning. La posizione di data scientist è davvero un termine generico, anche se i titoli di lavoro non sono mai stati un riflesso accurato delle responsabilità di ciascuno.

Che cosa è importante che un selezionatore IT sappia sulla scienza dei dati?

2.1 Quanto spesso cambia l'ambiente/le sfide da affrontare?

Una cosa che un reclutatore IT dovrebbe notare è che il panorama è in continua evoluzione. I dati sono sempre più grandi e i problemi sempre più difficili, per cui vengono sviluppate nuove tecniche e seguiranno sicuramente nuovi framework.

2.2 Sono disponibili molte risorse/strumenti/tecnologie (librerie, framework, ecc.)?

La familiarità con alcune risorse e strumenti sarà sicuramente un grande vantaggio. Attualmente sono disponibili molti strumenti in linguaggio Python, mentre ce ne sono molti meno per R (un altro linguaggio di programmazione). Alcuni framework di deep-learning sono disponibili in C++, in quanto più veloce e più efficiente in termini di memoria rispetto a Python. In Python, alcune delle librerie più popolari sono: pandas, Seaborn, plotly, scikit-learn, PyTorch, TensorFlow.

2.3 Cosa deve sapere un data scientist e quali sono le competenze più importanti per un data scientist?

Gli scienziati dei dati devono conoscere molte cose: apprendimento automatico, informatica, statistica, matematica, visualizzazione dei dati, comunicazione e deep learning. All'interno di queste aree, ci sono decine di linguaggi, framework e tecnologie che gli scienziati dei dati possono imparare.

La scienza dei dati richiede competenze statistiche e informatiche: non c'è da sorprendersi. È interessante che la comunicazione sia menzionata in quasi la metà degli annunci di lavoro nel settore della scienza dei dati di questi tempi. I data scientist devono essere in grado di comunicare le intuizioni e di lavorare con gli altri. Di seguito è riportato un elenco di base di ciò che rende un buon data scientist:

• Capacità di analisi dei dati
• Abilità nell'apprendimento automatico
• Ha buone capacità di comunicazione
• Ha padroneggiato un framework di deep learning
• Ha dimestichezza con Python o R

2.4. Che tipo di esperienza è importante cercare in un data scientist (commerciale, open-source, scientifica, accademica)?

Per la ricerca, solo per i progetti, l'esperienza accademica o scientifica sarà la più importante e completa. Ma per quanto riguarda la creazione di modelli di produzione, l'esperienza precedente di lavoro con altri modelli di produzione vi darà la migliore visione.

Come verificare le competenze dei data scientist nella fase di screening?

Dati in crescita significano opportunità in crescita: tutto ciò richiede una buona gestione. Verificare le competenze nella fase di screening è difficile ma concentrarsi sulle soft-skills del candidato può anche aiutare a selezionare i talenti in un modo unico. Trovare data scientist che sono già grandi decisori.

I maker possono risparmiare un sacco di problemi alla vostra azienda.

3.1 Cosa tenere in considerazione quando si esamina un CV?

La cosa più importante da considerare è se il candidato ha un background dettagliato nelle aree più rilevanti. Una storia di esposizione alla matematica, alla statistica, all'informatica, alla programmazione e alle librerie di apprendimento automatico è assolutamente fondamentale. Anche un'esperienza precedente nell'analisi e nella programmazione della scienza dei dati è fondamentale.

Ciò che distingue un buon data scientist da un grande scienziato sono le capacità di comunicazione interpersonale, ovvero la capacità di dialogare e collaborare con un'ampia gamma di persone. Il candidato deve inoltre possedere un buon fiuto per gli affari o una conoscenza approfondita dei fondamenti e dei principi aziendali.

Assicuratevi di verificare se il candidato ha indicato come il suo lavoro abbia influito positivamente su un aumento delle vendite, del ROI, ecc. È essenziale che i candidati migliori includano prove quantitative dei loro risultati.

Se il candidato che state cercando è un neolaureato, concentratevi sulle sue competenze e sui corsi o stage che ha svolto per valutare il suo bagaglio di conoscenze.

3.2 Quali termini del glossario è importante conoscere?

• Analisi esplorativa dei dati: consiste nella pulizia dei dati, nell'esplorazione di modelli di dati e nella scoperta manuale di modelli nei dati.
• Data storytelling - si riferisce alla descrizione e alla visualizzazione di modelli di dati per persone prive di conoscenze tecniche.
• Machine Learning classico - risolvere compiti utilizzando modelli come la regressione lineare o logistica, gli alberi decisionali, le foreste casuali, il boosting, le macchine a vettori di supporto, la fattorizzazione della matrice non negativa, K-means, k-nearest neighbors.
• Deep Learning - risolvere compiti utilizzando reti neurali. Alcuni tipi di reti neurali sono le reti neurali convoluzionali e le reti neurali ricorrenti.

Librerie di analisi e manipolazione dei dati	In Python: NumPy, pandas In R: dyplr, tidyr
Librerie distribuite per l'analisi e la manipolazione dei dati	In Python: Dask in Scala, Java e Python: Spark
Librerie di visualizzazione dei dati	In Python: Seaborn, Plotly, Matplotlib In R: ggplot2
Librerie generali di apprendimento automatico	In Python: scikit-learn In R: caret, e1071
Librerie di apprendimento profondo	In Python: Keras, Tensorflow, PyTorch In R: Nnet In C++: Caffe

3.3 Quali certificazioni sono disponibili e rispettate? Quanto sono utili per determinare le competenze dei data scientist?

Chiariamo subito una cosa: per trovare lavoro nel settore della scienza dei dati non è necessario alcun tipo di certificato. È utile, ma i selezionatori non si preoccupano più di tanto.

Tuttavia, circa la metà delle conoscenze sull'apprendimento automatico è teorica, quindi le certificazioni in quest'area sono altamente applicabili. Il restante 50% deriva dall'esperienza, quindi da qualsiasi tipo di modello di produzione creato o dalle competizioni Kaggle. Le certificazioni di solito non verificano le capacità di analisi aziendale o le capacità umane in generale. I corsi migliori che abbiamo trovato sono i seguenti.

• Professionista certificato di analisi (CAP)
• Associato certificato Cloudera: Analista di dati
• Professionista certificato Cloudera: Ingegnere dei dati CCP
• Consiglio d'America per la scienza dei dati (DASCA) Scienziato senior dei dati (SDS)
• Consiglio d'America per la scienza dei dati (DASCA) Principio scienziato dei dati (PDS)
• Percorso Data Science di Dell EMC
• Ingegnere dei dati professionale certificato da Google
• Dati e apprendimento automatico di Google
• Certificato professionale IBM Data Science
• Microsoft MCSE: Gestione dei dati e analisi
• Scienziato dei dati di Azure certificato Microsoft Associato
• Scienziato dei dati certificato aperto (Open CDS)
• Professionista certificato SAS per l'analisi avanzata
• Professionista dei grandi dati certificato SAS
• Scienziato dei dati certificato SAS

Anche le certificazioni ottenute da Coursera, edX o Udacity sono molto rispettate.

3.4 Quali altre righe di un CV possono mostrare le competenze dei data scientist?

La partecipazione dei candidati a conferenze come oratori può indicare la capacità di essere un narratore adeguato, un requisito importante nella scienza dei dati. È ovviamente indispensabile essere esperti dell'aspetto tecnico, ma la capacità di spiegare le proprie scoperte a chi non ha conoscenze tecniche è altrettanto fondamentale.

Anche partecipare a competizioni di apprendimento automatico può essere un grande vantaggio. Piattaforme come Kaggle.com, topcoder.com, crowdai.org e knowledgepit.ml offrono tutte la possibilità di competere per ottenere premi in questo settore.

Nel mondo di oggi, avere un buon curriculum da solo potrebbe non essere sufficiente per ottenere l'agognato colloquio. Soprattutto se vi state candidando per un ruolo di data scientist. Poiché viviamo e prosperiamo nel bel mezzo di una rivoluzione digitale, è logico che anche il processo di reclutamento ne tenga conto.

Sfogliare gli account LinkedIn e GitHub di un candidato può essere utile per valutarne il profilo e per vedere la sua competenza nei progetti open-source. Potete decidere se i progetti sono rilevanti per il ruolo attuale. Questo vi aiuta a visualizzare il profilo del candidato, in modo da poter strutturare le domande in un certo modo. Potrete anche determinare se le competenze di data scientist menzionate dal candidato nel suo curriculum si riflettono nel suo profilo GitHub.

Screening tecnico delle competenze di data science durante un colloquio tecnico telefonico/video

È difficile affidarsi solo alle parole di un curriculum. Dopo tutto, è importante mettere alla prova il candidato per determinare se possiede davvero le competenze che dichiara di avere. Anche se si tratta solo di un colloquio telefonico, può aiutarvi a capire come il candidato pensa e risolve i problemi legati al suo mestiere.

4.1 Domande da porsi sulle competenze di un data scientist esperienza. Perché dovreste porre ciascuna di queste domande?

• Che tipo di progetti DS avete realizzato e qual è stato il vostro impegno nei progetti?
  Motivo: Poiché la scienza dei dati è una posizione estremamente ampia, spesso con responsabilità diverse, alcuni candidati potrebbero occuparsi solo di analisi e narrazione dei dati o solo di raccogliere requisiti e creare modelli di apprendimento automatico. L'esperienza del candidato deve corrispondere alle responsabilità della posizione per cui si sta reclutando. Questa domanda mira a verificare l'entità delle competenze del candidato.
• In che modo il vostro lavoro ha avuto un impatto finanziario positivo sull'organizzazione con i progetti a cui avete partecipato?Motivazione: Il ruolo di data scientist è una posizione che richiede una buona comprensione dei requisiti e delle condizioni aziendali. Cercate risposte che mostrino misurazioni specifiche, come "il team di marketing è stato in grado di ridurre i costi di 10% grazie ai nostri risultati", o "abbiamo ridotto il turnover dei clienti di 5% grazie alle nostre nuove capacità di fidelizzazione".
• Che tipo di librerie e tecniche di programmazione ha utilizzato?
  Motivo: I data scientist possono utilizzare un'ampia varietà di strumenti per ottenere gli stessi risultati. Questi possono dipendere dal linguaggio di programmazione scelto, dall'infrastruttura interna dell'azienda e dalle dimensioni del set di dati con cui il candidato ha lavorato. È probabile che il candidato ottenga i risultati migliori con gli strumenti con cui ha già avuto esperienza.

4.2 Domande da porsi sulle competenze di un data scientist conoscenze e opinioni. Perché dovreste porre ciascuna di queste domande?

• Come si fa a verificare che un modello funzioni correttamente?
  Motivo: La metodologia ideale consiste nel suddividere il set di dati in sezioni: set di addestramento, set di validazione e set di test. L'insieme di formazione è l'unico disponibile per il modello e costituisce la base del processo di formazione. I parametri del modello vengono impostati utilizzando l'insieme di validazione e l'efficienza del modello viene testata sull'insieme di test.
• Come si può verificare se i dati del dataset sono di buona qualità?
  Motivo: Un data scientist si troverà molto probabilmente a lavorare con un set di dati raccolti all'interno dell'azienda che potrebbero contenere valori mancanti, errori o incoerenze: questi sono i segni di dati disordinati. Per individuare tali problemi, un data scientist deve eseguire un'analisi esplorativa dei dati per riassumerne le caratteristiche principali.
• Che cos'è il boosting e quali sono i vantaggi del suo utilizzo?
  Motivo: I modelli di boosting sono modelli ad albero costituiti da gruppi di alberi che vengono addestrati in modo sequenziale. I modelli di boosting sono attualmente i più efficienti, con una grande accuratezza, tempi di addestramento relativamente brevi, un utilizzo ridotto della memoria e dataset di addestramento di medie dimensioni (rispetto alle tecniche di deep learning).

Un consiglio del nostro esperto è quello di porre domande legate ai problemi aziendali per i quali si sta effettuando il reclutamento. Come chiunque altro, i data scientist lavorano al meglio in aree che conoscono bene.

Ad esempio, non tutti i candidati possono avere un "feeling" (o essere interessati o disposti a imparare) con il funzionamento interno delle apparecchiature di fabbrica (problemi di manutenzione predittiva), con i termini medici (creazione di IA per il settore medico) o con le preferenze dei clienti (sistemi di raccomandazione per l'e-commerce).

4.3 Comportamento domande che dovreste porre a un data scientist. Perché dovreste porre ciascuna di queste domande?

• Come gestite le divergenze di opinione con i colleghi?
  Motivo: Un data scientist deve possedere buone capacità comunicative e interpersonali (ad esempio l'empatia), poiché il suo ruolo si basa sulla compilazione dei dati dei colleghi e sulla ricerca di aree di miglioramento all'interno dell'organizzazione o della società.
• Dove trovate informazioni su nuove tecniche o casi di scienza dei dati?
  Motivazione: Poiché il campo della scienza dei dati è in costante evoluzione e crescita, il ruolo richiede una ricerca costante per rimanere al passo con gli ultimi aggiornamenti e per risolvere i problemi nel modo più efficiente. Una qualsiasi di queste fonti è utile: documenti di conferenze, workshop, MOOC, blog di aziende che si occupano di DS, meetup della comunità DS, gruppi Facebook o di posta elettronica a tema DS o apprendimento da parte di un mentore.
• Quali sono, a suo avviso, il suo più grande successo e il suo più grande fallimento nel campo della DS?
  Motivo: Si tratta di una domanda piuttosto generica, ma mostra le capacità di auto-riconoscimento e di auto-riflessione del candidato. Entrambe sono necessarie nel processo di apprendimento, che è una parte importante dell'essere un grande data scientist.

Screening tecnico delle competenze di un data scientist tramite un test di codifica online

Assumere un data scientist può essere un processo complicato. La definizione effettiva di data scientist è vaga e il lavoro quotidiano di chi ha la qualifica di "data scientist" varia notevolmente da un'organizzazione all'altra. Inoltre, le persone che entrano in questo campo provengono da una grande varietà di background. Esaminare il passato di un candidato data scientist è una scienza a sé stante, che merita un post a sé stante. Noi ci limiteremo a mostrarvi il modo migliore per selezionare un data scientist!

5.1 Quale test online per le competenze dei data scientist scegliere?

Quando si cerca il giusto test delle competenze in scienza dei dati è necessario assicurarsi che corrisponda ai seguenti criteri:

• Il test riflette la qualità del lavoro professionale che viene svolto
• La durata non è eccessiva, da una a due ore al massimo.
• Il test può essere inviato automaticamente ed è di natura semplice.
• Il livello di difficoltà è adeguato alle capacità del candidato.
• Il test va oltre la verifica del funzionamento della soluzione: controlla la qualità del codice e il suo funzionamento nei casi limite.
• È il più vicino possibile all'ambiente di programmazione naturale e consente al candidato di accedere alle risorse pertinenti.
• Fornisce al candidato l'opportunità di utilizzare tutte le librerie, i framework e gli altri strumenti che incontra regolarmente.

5.2 DevSkiller, test di competenze online per la scienza dei dati pronti per l'uso

I test di codifica DevSkiller utilizzano la nostra metodologia RealLifeTesting™ per rispecchiare l'ambiente di codifica reale in cui lavora il vostro candidato. Invece di utilizzare oscuri algoritmi, i test DevSkiller richiedono ai candidati di costruire applicazioni o funzionalità. Sono valutati in modo completamente automatico e possono essere sostenuti in qualsiasi parte del mondo. Allo stesso tempo, il candidato ha accesso a tutte le risorse che utilizzerebbe normalmente, tra cui librerie, framework, StackOverflow e persino Google.

Le aziende utilizzano DevSkiller per testare i candidati utilizzando la propria base di codice da qualsiasi parte del mondo. Per semplificare le cose, DevSkiller offre anche una serie di test di competenze di data science già pronti, come quelli qui riportati:

Testate le competenze di Data Science con il nostro IDE integrato PyCharm

Ora potete valutare le competenze dei vostri candidati in materia di Data Science con l'uso del nostro IDE PyCharm integrato.

Vista la difficoltà di attrarre data scientist qualificati, la creazione di un'offerta di lavoro più L'ambiente di valutazione più facile per i candidati è un vantaggio enorme. Permettere ai Data Scientist di lavorare esattamente come fanno di solito durante il processo di reclutamento è una svolta.

Cosa significa per voi e per i vostri candidati:

• I candidati possono ora lavorare direttamente nel browser, senza dover scaricare alcun componente o attendere il caricamento del programma,
• Non devono più clonare il codice, attendere l'installazione delle dipendenze o la creazione degli indici,
• Invece, possono letteralmente iniziare a codificare non appena aprono l'invito al test. Questo accelera il processo, riducendo l'abbandono dei candidati e garantendo loro un'esperienza complessivamente più positiva. Il nostro IDE PyCharm è ospitato dal nostro server nel cloud. I candidati possono eseguire test, visualizzare in anteprima e riprodurre le loro soluzioni ed eseguire il loro codice.

Il nostro obiettivo è quello di rendere il processo di screening il più simile possibile al normale ambiente di lavoro dei Data Scientist.

Questo è il secondo IDE in-browser di JetBrains che abbiamo aggiunto alla nostra piattaforma, dopo l'aggiunta di IntelliJ IDEA per tutti i test Java all'inizio dell'anno.

Presto introdurremo altri IDE nella piattaforma per rendere l'ambiente di test universalmente piacevole per i candidati di tutti gli stack tecnologici.