setwd("kódot/tartalmazó/mappa")

setwd(get_script_dir())

• English

Via:: Hol a szkript?

A konferencia elso napja, szokas szerint, tutorialokkal indult: delelott es delutan is egy-egy 3 oras workshopon vehetett reszt minden latogato. A valasztas nem volt egyszeru: GIS, git, Shiny, data.table, H2O, spark, Rmarkdown es tovabbi mas izgalmas temak kozul vegul Erin LeDell machine learning “deep dive” eloadasara ultem be (a lepcsore — mert mashol mar nem volt hely):

Happy #rstats and @h2oai Monday! Learning ML models at the first #user2016 talk from @ledell https://t.co/iEzic9jhMD pic.twitter.com/Xd3UofyecH

— Gergely Daróczi (@daroczig) June 27, 2016

Az eloadas deep learning resze kellemes emlekeket ebresztett bennem a masfel evtizeddel ezelott megjelent Bug Brain jatekrol

The #MachineLearning & #deeplearning workshop @ #useR2016 reminded me to play BugBrain again https://t.co/ZT2pD8BhJP pic.twitter.com/031jSw0ybN

— Gergely Daróczi (@daroczig) June 27, 2016

Delutan az “effective shiny programming” workshopot latogattam, de sajnos csak az elso felen tudtam reszt venni, ugyani 3-tol kezdodott az R Consortium negyed evente esedekes “Birds of a feather” megbeszelese, amelyen a satRday projekt egyik szervezojekent orommel vettem reszt tobbek kozott John Chambers (R Foundation), Hadley Wickham (RStudio), Louis Bajuk-Yorgan (TIBCO), Karl Millar (Google), Dinesh Nimal (IBM), elnoksegi tagok, tovabba Csardi Gabor (R-hub), Richie Cotton (R honositas), Nick Carchedi (DataCamp) es a Linux Foundation kepviseloje mellett. A megbeszeles egyik kozponti kerdese volt, hogy tovabbi szervezetek miert erezhetik indokoltnak a konzorciumhoz valo csatlakozast.

Ezt kovetoen az R Consortium nagyobb nyilvanossagot kapott, es Joe Rickert a konferncia legnagyobb eloadojaban arrol szamolt be, hogy a konzortium milyen projekteket tamogatott, ill. milyen tervek varnak megvalositasra a kozeljovoben. Kiemelte, hogy a tamogatando projektek DEADLINE AT TODO. Nagy oromomre szolgalt, hogy a slide-ok kozul egy kifejezetten a satRday projekttel foglalkozott:

A mai nap vegul a Women in R task force es R-ladies prezentaciokkal zarult, ahol orommel szamoltak be a mar elert sikerekrol (SF: 700, London: 400 fo par honap alatt) es tovabbi tervekrol (NY):

@RLadiesLondon got me all inspired.#rstats #useR2016 pic.twitter.com/VgoYro4fbt

— SanghaChick (@SanghaChick) June 28, 2016

Utana soroztunk, holnap pedig folyt. kov.

Egy rövid project (twitter sentiment analysis with vaderSentiment method) keretein belül az rPython csomagot használtuk és az ezzel kapcsolatos tapasztalatot szeretnénk most megosztani.

A project során tweet-ket gyűjtöttünk és egy adattáblába szerveztük őket. Ezután a python nyelven megírt VaderSentiment módszerrel elemeztük a tweeteket. A módszer lényege, hogy egy adott szöveget a benne lévő szavak, hangulatjelek és egyéb más rövidítések (pl.: LOL stb.) alapján számít ki 4 értéket (negatív, neutrális, pozitív és összesített).

Egy példa, a kapcsos zárójelben a számított értékek:

“VADER is smart, handsome, and funny.”
{‘neg’: 0.0, ‘neu’: 0.254, ‘pos’: 0.746, ‘compound’: 0.8316}

Értékelés:

A mondatban nem volt negatív töltésű rész. Körülbelül a szöveg ~25%-a semleges, míg a maradék ~75% pozitív kincsengésű volt. Összességében a normalizált “compound” érték 0.83 volt (-1 és 1 között lehet). Ha > 0.05, akkor pozitív, ha itt.

# rPython csomag betöltése
library(rPython)
 
# a tweet-ek behívása
tweet<-as.character(readLines("tweet_data.txt"))
 
# a tweet-ek tisztítása: #,@ jelek törlése a szövegekből.
tweet<-gsub("#","",tweet)
tweet<-gsub("@","",tweet)
tweet<-gsub("\"","",tweet)
tweet<-gsub("\n","",tweet)
 
# a változó átalakítása, hogy a python scriptbe tudjuk ágyazni
# idézőjeleket teszünk a tweet-ek elejére és végére
tweet<-paste("\"",tweet,"\"",sep="")
# vessző hozzáfűzése minden tweet végéhez az idézőjel után, 
# kivéve az utolsó sornál
tweet[1:(length(tweet)-1)]<-paste(tweet[1:(length(tweet)-1)],",",sep="")
 
# python fájl kiírása egy fájlba
# a számított értékeket először a "bs" változóba tároljuk, majd
# a "mylist" listába gyűjtjük össze az összeset és ezt adjuk át az R-nek
fajl<-"tweet_vaderSentiment.py"
cat("from vaderSentiment.vaderSentiment import sentiment as vaderSentiment\n", file =fajl)
cat("sentences = [\n",file=fajl,append=T)
cat(paste(" ",tweet,sep="\n"),file=fajl,append=T)
cat(" \n",file=fajl,append=T)
cat(" ]\n",file=fajl,append=T)
cat("mylist=[]\n",file=fajl,append=T)
cat("for sentence in sentences:\n",file=fajl,append=T)
cat(" bs=vaderSentiment(sentence)\n",file=fajl,append=T)
cat(" mylist.append(bs)\n",file=fajl,append=T)
 
# python kód betöltése és futtatása
python.load("tweet_vaderSentiment.py")
# az eredmények átemelése R-be
res.tweet<-python.get("mylist")
# az adatok adattáblába rendezése
res.tweet<-as.data.frame(do.call(rbind,res.tweet))
 
# az összesített eredmények egyszerű ábrázolása
plot(res.tweet$compound,main="Results of Vader Sentiment analysis",xlab="",ylab="compound values")
abline(h=0.05,col="red")
abline(h=-0.05,col="red")
text(50,-0.7,"negative")
text(50,0.8,"positive")
text(2,0.08,"neutral")

Az R és a python együttes használatával egy nagyon eszköztárat kapunk, amivel gyakorlatilag bármilyen problémát meg tudunk oldani!

Via: R és python

Why the rune R! on the @user2015aalborg t-shirt by Peter Dalgaard pic.twitter.com/MsFqEiRlKQ

— useR! 2015 Aalborg (@user2015aalborg) July 3, 2015

Volt szó a Revolution Analytics Microsoft általi felvásárlásáról, a nemrégiben hivatalosan is bejelentett R Consortium megalakulásáról,  de az RStudio újdonságairól (pl. hogy még továbbra sem profitábilis a működésük), a HP distributed R programjáról és hogy a HP alkalmazottak miért nem kapnak ingyenes nyomtatópatront, a H2O agilis csapata élőben demózott, és a plenáris előadások keretében megtudhattuk azt is, hogy a statisztika mennyire egszerű (statisztika professzoroknak). De beszéljenek inkább az alább képek:

It was great to meet several developers from the @h2oai team at #user2015 and see some demo, keep up the great work! pic.twitter.com/zHP80qc5L6

— Gergely Daróczi (@daroczig) July 3, 2015

“And it turns out to be ridiculously easy” — last plenary talk at #user2015 by Steffen Lauritzen pic.twitter.com/TYOiHSKjDD — Gergely Daróczi (@daroczig) July 3, 2015

Összességében egy remek konferencia volt, gyorsan elrepült az idő vasárnap este óta, sok online (GH, SO, Twitter) ismerőssel találkozhattam élőben, és nagy öröm volt látni az nemzetközileg egyre fokozódó érdeklődést az R iránt.

Találkozunk jövőre a Stanfordon, bővebb beszámolóval pedig élőben, a következő R meetupon jelentkezünk

Majd a hazai R felhasználók számára a tavalyi R meetup és BI konferenciáról is ismerős Matt Dowle és data.table társszerője, Arun Srinivasan tartottak hasonlóan emlékezetes előadásokat:

Great news from @MattDowle of radix sorting & possibly integrating data.table in #rstats — would be great! #user2015 pic.twitter.com/4bciXFR0Qy

— Gergely Daróczi (@daroczig) July 2, 2015

My #useR2015 talk on 6 useful features for data wrangling with #rdatatable #rstats http://t.co/eTOdp4Ygr0 pic.twitter.com/LV7dOuQOsE

— Arun Srinivasan (@arun_sriniv) July 3, 2015

Ez a délelőtti szekció különösen izgalmas volt, mert még ugyanezen szekcióban Andrie de Vries adott elő a Revolution Analytics/Microsoft képviseletében a CRAN csomagjainak network elemzéséről.

Délután szó volt többek között a googlespreadsheet csomagról, amely Jennifer Bryan gondozásában nagyon egyszerű módon teszi lehetővé Google táblázatok olvasását és szerkesztését R-ből:

Why would an #rstats user want to use @google Sheet? Question answered in @JennyBryan‘s inspiring talk at #user2015 pic.twitter.com/86Lau3wa3B

— Gergely Daróczi (@daroczig) July 2, 2015

Jenny után Oliver Keyes következett a Wikimedia-tól, aki a CRAN csomagjait vizsgálta különbőző szoftverfejlesztésben standardként használt QA metrikák segítségével, amely előadást heves vita követett. Érdekességképpen megemlítem, hogy előadást laptop nélkül tartotta (amely sajnálatos módon elveszett a konferenciára való utazása közben), ill. jelenleg egy általános Google Drive R csomagon dolgozik. Az adatvizualizációs szekciókra sajnos nem jutottam el, de annál nagyobb öröm volt újra hallani Csárdi Gábort a nagyon izgalmas METACRAN projektjéről, amely fejlesztése remélhetőleg a továbbiakban is hasonlóan lendületesen zajlik majd:

METACRAN demo at #user2015 by @GaborCsardi, one of the most exciting #rstats projects going on http://t.co/iMkl6QzwMH pic.twitter.com/BGVi4tJNm5 — Gergely Daróczi (@daroczig) July 2, 2015

Utoljára a Vestas képviselője beszélt arról, hogyan big data problémáik megoldásában hogyan használják az R-t, és még volt lehetőségem bepillantani a grid-guru Paul Murrel előadásába is, ahol egy elég zsúfolt teremben kiderült, hogy a gridGraphics csomag segítségével egyszerűen alakíthatunk base/graphics ábrákat grid formába:

Utána kihagytam a hivatalos konferencia-vacsorát, és Tajti Andrással egyetemben alternatív networking lehetőségekkel éltünksöröztünk többek között Matt Dowle és egy H2O fejlesztő társaságában. Holnap a konferencia záró napja!

#user2015 first plenary talk and first cat by @romain_francois with 600+ attendees pic.twitter.com/5unCaUQuFF

— Gergely Daróczi (@daroczig) July 1, 2015

Az ebéd előtt az ottani előadásom kapcsán a Network szekciót látogattam Csárdi Gáborral egyetemben:

The last talk in the network section on #igraph — @GaborCsardi being way too modest about his useful #rstats package pic.twitter.com/aE3ze4OjXq — Gergely Daróczi (@daroczig) July 1, 2015

Az ebéd kellemes társaságban (Paul Murrel, Csárdi Gábor, JJ Allaire, Jeroen Ooms) a record/replayPlot függvények érdekességeinek tárgyalásával telt.

A délutáni Kaleidoscope szekcióban közül leginkább Richard M. Heiberger nagyon profin átgondolt és prezentált előadását élveztem:

Toth Gergo valasza http://t.co/VBah3t9708 hosszabban kifejtve a #user2015 konferencian by Richard M. Heiberger pic.twitter.com/5Cy647DND9

— r-projekt.hu (@R_projekt) July 1, 2015

De volt itt szó többek között a mosógépből kikerülő zoknik párosíthatóságának valószínűségéről természetesen Bayes-i megközelítésben, ill. egy esetleges zombi fertőzés terjedésének tudományos vizsgálatáról. Le a kalappal a hardcore teoretikus témákat szórakoztató módon előadó R felhasználók előtt!

Only 6 bottles left of Rlsberg at #user2015 — @rabaath just finished his inspiring talk on @kwbroman‘s socks pic.twitter.com/b2KsVm7vvJ — Gergely Daróczi (@daroczig) July 1, 2015

A délutáni plenáris előadás is lehengerlő volt, ilyen élménzben utoljára Tomka Miklós EVS előadásának hallgatása közben volt részem: egy köztiszteletben álló professzor nagyon felkészült, humoros, technikai újdonságokkal megspékelt, tartalmas előadást nagyon emlékezetesen tartott meg. Azt hiszem, hogy minden plenáris előadásnak ilyesminek kellene lennie. Később, a Business szekcióban sajnos csak Stefan Bache előadására jutottam be, akit remélhetőleg Budapesten is köszönthetünk október magasságában:

Business session: @stefanbache on Using #rstats in Production. @BenceArato, it would be a cool topic for @BudapestBI pic.twitter.com/Hcw8j1BmpG

— Gergely Daróczi (@daroczig) July 1, 2015

A konferencia első napja egy igen tartalmas (75+) poszter szekcióval zárult, ahol 3 posztert a magyar látogatók (Salánki Ági, Tajti András és jómagam) mutattak be:

Az első napon délelőtt és délután is négy-négy tutorial közül válogathattak a
résztvevők. Én (a többi magyar résztvevővel együtt) Csárdi Gábor Igraph-bemutatójára ültem be: a legfrissebb (1.0) verzóban már valósággal lubickolni lehet a különböző gráfmanipulálási módszerekben, szintaxisokban: a régiek (egyelőre) megmaradnak, viszont az egész bővült egy make_* függvénycsaláddal, ráadásul a make_ önmagában is megáll függvényként. Amióta utoljára elmélyültem a csomagban, jelentősen fejlődött az ábrázolás, lehet közösségeket is plottolni követlenül, nem kell a csúcsok attribútumait beállítani. Viszont lehet használni meglepően nagy mértékben: a csúcsok (vagy élek) attribútumaként is meg lehet adni a paramétereket (szín, alak, méret, bármi ami létezik). Hozzá lehet nyulni a gráf elemeihez már a “[” es “[[” operátorokkal is. Ami szintén egy nagy újítás számomra, hogy össze lehet hasonlítani a közösségeket a csomagban implementált függvényekkel, és nem kell külső csomagokból importálni a mérőeszközöket.

Délután az assertive és a testthat csomagokba kaptam egy kis bevezetőt: a két részre osztott gyakorlat első fele az előbbi, második az utóbbi csomagról szólt, hasonló felépítésben: a több mint egy órás szakaszok eleján egy bevezetőt mondott Richard J. Cotton, majd egy nagy adag házifeladaton kellett átrágni magunkat. Nem volt szó a testthat csomagnak a frissen elmentett függvényre való futtatásáról, amit Otti Levente mutatott az április BURN meetupon.

Este hétkor a helyi MüPában tartott a polgármester egy rövid beszédet, majd egy állófogadással ért véget a hivatalos program.

Via:: useR! 1. nap

Kezdjünk egy egyszerű példával
Bővebb részletesebb leírás hamarosan

Minimum két fájl szükséges a Shiny használatához:

• ui.R – user-interface: ez fogja a böngészőben megjeleníteni, amit szeretnénk
• server.R – server-interface: ez végzi a szerver oldali számításokat, ami dinamikusan változik és az ui.R megjeleníti az eredményt.

A fentebbi példához tartozó R scriptek.

##### server.R #####

# shiny és a csomagok betöltése
# datasets (ehhez a példához innen veszük az adatokat)
library(shiny)
library(datasets)
 
# a "shinyServer" definiálása, amihez meg kell adni az in-, és output elemeket
# output elemként egy barplot-ot fogunk megadni
shinyServer(function(input, output) {
 
  # elkészítjük az ábrát, barplot-ot 
  # majd a renderPlot funkcióval átadjuk az output-nak
  output$phonePlot <- renderPlot({
 
    # Barplot készítése
    barplot(WorldPhones[,input$region]*1000,
            main=input$region,
            ylab="Telefonok száma",
            xlab="Év")
  })
})

##### ui.r #####

library(shiny)
library(datasets)
 
# Létrehozzuk az UI-it (User Interface).
shinyUI(
  fluidPage(
    # itt megadjuk az oldal címét
    titlePanel("Telefonok megoszlása"),
    # Oldalbár készítése
    sidebarLayout(
      # ebben az esetben az odalbárba 1 input elemet adunk meg
      sidebarPanel(
        selectInput("region", "Régió:",
                    # itt adjuk meg, hogy mik közül lehessen választani
                    choices=colnames(WorldPhones)),
        helpText("Data from AT&T (1961) The World's Telephones.")
      ),
 
      # elkészítjük a "mainPanel"-re az ábrát
      mainPanel(
        plotOutput("phonePlot")
      )
    )
  )
)

Via bior.hu

# ha csv (comma separeted values) formátumba vannak az adatok
# a header=TRUE csak akkor szükséges, ha fejléc is van
df<-read.csv("sample.csv", header=TRUE)
 
# ha egy sima txt-ben vannak az adatok és tabulator a szeparatorunk ("\t")
df<−read.table("sample.txt",header=TRUE,sep="\t")
 
# ha xlsx-ben tároljuk az adatokat, akkor egy lehetséges megoldás, hogy
# először behívjuk az XLConnect csomagot
# betöltjük az xlsx fájlt, majd végül az adott munkalapot
library(XLConnect)
wb<-loadWorkbook("sample.xlsx", create = FALSE)
df<-readWorksheet(wb, sheet = "Sheet1")
 
# ha json (JavaScript Object Notation) formátumba vannak rendezve az adatok:
library(rjson)
df<-fromJSON(file="sample.json")
 
# ha mysql adatbázisban vannak az adataink
# akkor a RMySQL lehet a segítségünkre
library(RMySQL)
mydb<-dbConnect(MySQL(),user="root",password="pass",dbname="sampleDB",host="localhost")
df<-dbReadTable(mydb, "adattabla_neve")

Felhasznált adatok:

• sample.csv
• sample.txt
• sample.xlsx
• sample.json

Természetesen ezek mellett még számos más lehetőség is van  

Via bior.hu

A #user2015 konferencia fel napos tutorialokkal indul, en @GaborCsardi igraph workshopjat latogatom #rstats pic.twitter.com/iFAiHE7u0L

— r-projekt.hu (@R_projekt) June 30, 2015

Később a konferencia magyar résztvevői közösen indultak el felderíteni Aalborg sörkínálatatát a konferencia helszínétől északra:

Majd az esti fogadáson találkozhattunk többek között az OpenCPU és a data.table fő fejlesztőivel:

A konferencia hivatalosan holnap kezdődik, számos izgalmasnak ígérkező előadással.