Author: smarterpoland

DALEX: understand a black box model – conditional responses for a single variable

Black-box models, like random forest model or gradient boosting model, are commonly used in predictive modelling due to their elasticity and high accuracy. The problem is, that it is hard to understand how a single variable affects model predictions. As a remedy one can use excellent tools like pdp package (Brandon Greenwell, pdp: An R … Czytaj dalej DALEX: understand a black box model – conditional responses for a single variable

Top interactive visualizations of movie scripts

One of the highest pleasures for an academic teacher is to be surprised by an extraordinary student’s project or homework. Something that greatly exceeds expectations. I’ve reoriented my courses in a way to make such surprises frequent. The second project in my Data Visualisation classes was related to interactive graphics. The task was to create … Czytaj dalej Top interactive visualizations of movie scripts

chRistmas tRees

Year over year, in the last classes before Christmas I ask my students to create a Christmas tree in R. Classes are about Techniques of data visualisation and usually, at this point, we are discussing interactive graphics and tools like rbokeh, ggiraph, vegalite, googleVis, D3, rCharts or plotly. I like this exercise because with most … Czytaj dalej chRistmas tRees

archivist: Boost the reproducibility of your research

A few days ago Journal of Statistical Software has published our article (in collaboration with Marcin Kosiński) archivist: An R Package for Managing, Recording and Restoring Data Analysis Results. Why should you care? Let’s see. Starter Would you want to retrieve a ggplot2 object with the plot on the right? Just call the following line … Czytaj dalej archivist: Boost the reproducibility of your research

Explain! Explain! Explain!

Predictive modeling is fun. With random forest, xgboost, lightgbm and other elastic models… Problems start when someone is asking how predictions are calculated. Well, some black boxes are hard to explain. And this is why we need good explainers. In the June Aleksandra Paluszynska defended her master thesis Structure mining and knowledge extraction from random … Czytaj dalej Explain! Explain! Explain!

Z pamiętnika nauczyciela akademickiego – Irracjonalne wybory

TL;DR Wybory studentów są czasem nieracjonalne, przynajmniej z mojego punktu widzenia. Ale czasem to znaczenie lepiej i bardzo mnie to cieszy. Dłuższa wersja Na przedmiocie Techniki Wizualizacji Danych mam w tym roku bardzo silną grupę matematyków ze specjalności SMAD (statystyka i analiza danych) i informatyków ze specjalności PAD (przetwarzanie i analiza danych). W semestrze mamy … Czytaj dalej Z pamiętnika nauczyciela akademickiego – Irracjonalne wybory

MI^2 Data Talks

Z początkiem semestru ruszamy z nowym seminarium badawczym w DataLabie. Seminarium skierowane jest do osób zainteresowanych pracą badawczą w obszarze tworzenia narzędzi (metodologii i softu) do modelowania statystycznego. Na zmianę będziemy mieć referaty o: * jak tworzyć dobre oprogramowanie statystyczne (GiHub, Travis, Continuous Integration, Czysty Kod), * jak komunikować wyniki swoich badań (przygotowanie prezentacji, artykułu, … Czytaj dalej MI^2 Data Talks

Co się działo na hakatonie Urban Sensors?

Hakaton Urban Sensors odbył się 26 września, dzień przed konferencją WhyR? Poniżej opiszę z jakimi danymi walczyliśmy i co ciekawego udało się zrobić. Dane Podczas tej jednodniowej imprezy pracowaliśmy z miejskimi danymi pochodzącymi z projektu VaVeL. Dokładniej z trzema źródłami danych: Danymi online o położeniu autobusów i tramwajów w Warszawie. Poprzez interface REST pobieraliśmy szczegółową … Czytaj dalej Co się działo na hakatonie Urban Sensors?