diff --git a/.Rhistory b/.Rhistory index a1744a0..1d3e03f 100644 --- a/.Rhistory +++ b/.Rhistory @@ -1,21 +1,3 @@ -all(test) -test <- NULL -View(c_errors) -c_errors <- read.csv("issuecomp-codingsample-error.csv", header = F, sep=",", colClasses="character") -names(c_errors) <- c("str_id", "code", "tags", "text") -for(r in 1:nrow(c_errors)) { -c_errcode <- as.character(c_errors$code[r]) -c_errtags <- as.character(c_errors$tags[r]) -c_errtext <- as.character(c_errors$text[r]) -cat("===============\n\n[TWEET]: ",c_errtext,"\n[ISSUES]: ", c_errtags, "\n", sep="") -source("issuecomp-codingsample-function2.R") -} -status -for(r in 1:nrow(c_errors)) { -c_errcode <- as.character(c_errors$code[r]) -c_errtags <- as.character(c_errors$tags[r]) -c_errtext <- as.character(c_errors$text[r]) -cat("===============\n\n[TWEET]: ",c_errtext,"\n[ISSUES]: ", c_errtags, "\n", sep="") source("issuecomp-codingsample-function2.R") } if(c_errcode == "1") { @@ -510,3 +492,21 @@ c_errid <- as.character(c_errors$str_id[r]) cat("===============\n\n[TWEET]: ",c_errtext,"\n[ISSUES]: ", c_errtags, "\n", sep="") source("issuecomp-codingsample-function2.R") } +require(jsonlite) +require(stringr) +require(devtools) +require(RTwitterAPI) +setwd("~/Dokumente/Uni/Aktuell/BA-Arbeit/uni-ba-issuecomp") +source("issuecomp-functions.R") +acc_df <- read.csv("MdB-twitter.csv") +delrow <- NULL +for(r in 1:nrow(acc_df)) { +acc <- as.character(acc_df$twitter_acc[r]) +if(!nzchar(acc)) { +delrow <- c(delrow, r) +} +} +acc_df <- acc_df[-delrow, ] +rm(delrow, r, acc) +acc_df$row.names <- NULL +row.names(acc_df) <- NULL diff --git a/issuecomp-analysis.R b/issuecomp-analysis.R index a301bc7..1a6f9ae 100644 --- a/issuecomp-analysis.R +++ b/issuecomp-analysis.R @@ -87,7 +87,7 @@ for(d in 1:nrow(issues)) { } # /for tweets_curday } # /for drange -rm(tweets_curday,curacro, curchars, curdate,curfile,curid,curissue,curtag,curtags,curtext,d,date_end,date_start,drange,i,id_folder,oldissue,oldtag,s,t,tags_found) +#rm(tweets_curday,curacro, curchars, curdate,curfile,curid,curissue,curtag,curtags,curtext,d,date_end,date_start,i,id_folder,oldissue,oldtag,s,t,tags_found) # SAVING ------------------------------------------------------------------ @@ -97,6 +97,26 @@ row.names(tweets) <- NULL write.csv(tweets, "tweets.csv") save(tweets, file="tweets.RData") + + +# SOME TESTS -------------------------------------------------------------- + +stats <- data.frame(date=drange) +stats$tpd <- 0 + +# Total number of tweets per day over time +for(r in 1:length(drange)) { + stats$tpd[r] <- length(tweets[tweets[, "created_at"] == drange[r], "id_str"]) +} + +stats_melt <- melt(stats, id="date") +g1 <- ggplot(data = stats_melt, aes(x=date,y=value,colour=variable, group=variable)) + + geom_line() + + geom_smooth(size=1,formula = y ~ x, method="loess", se=FALSE, color=1) +g1 + +rm(g1, r) + # VISUALS ----------------------------------------------------------------- diff --git a/issues.txt b/issues.txt.bak similarity index 97% rename from issues.txt rename to issues.txt.bak index 2852eb2..01014df 100644 --- a/issues.txt +++ b/issues.txt.bak @@ -1,4 +1,4 @@ -# 1 Wirtschaft + Wirtschaft Wirtschaftswachstum Wachstum @@ -12,7 +12,7 @@ Lebenshaltungskosten Leitzins 103 -(Arbeitslosigkeit) +Arbeitslosigkeit Arbeitslosenquote Arbeitsmarkt @@ -50,8 +50,7 @@ Lohnkontrolle Preisstopp -# 2 Bürgerrechte - + 200 Gleichberechtigung Diskriminierung @@ -84,7 +83,6 @@ Religionsfreiheit Pressefreiheit Pornografie Porno -Pornos 208 Datenschutz @@ -124,7 +122,7 @@ Gastarbeiter Grenzkontrolle -# 3 Gesundheit + 300 Gesundheitspolitik @@ -165,7 +163,6 @@ medizinische Haftpflicht 325 medizinische Ausbildung -medizinische Arbeitskräfte medizinische Arbeitskraft medizinisches Personal Hippokratischer Eid @@ -219,9 +216,7 @@ Medikamente Kosten 336 Sehhilfe Nierenkrankheit -R Rollstuhl -Rollstühle Zahnarzt Zahnmedizin @@ -246,7 +241,7 @@ medizinische Experimente 399 -# 4 Landwirtschaft + 400 Landwirtschaft @@ -317,7 +312,7 @@ Agrotechnik 499 -# 5 Arbeitswesen + 500 Beschäftigung @@ -396,7 +391,7 @@ Schwarzarbeit -# 6 Bildung + 600 Bildungspolitik diff --git a/issues.xml b/issues.xml index 31559cd..1136af0 100644 --- a/issues.xml +++ b/issues.xml @@ -1,94 +1,442 @@ - - - umwelt - energie - energiewende - atomkraft - windkraft - wasserkraft - solarstrom - kraftwerk - strom - - - - ukraine - euromaidan - krim - putin - kiew - - - - arbeitsmarkt - mindestlohn - arbeitslosigkeit - hartz4 - arbeitslos - - - - nsa - snowden - bnd - gchq - überwachung - - - - wm2014 - weltmeister - meister - finale - halbfinale - viertelfinale - achtelfinale - brager - gerbra - argger - gerarg - wm - stadion - - - - israel - gaza - naher osten - nahen osten - nahost - - - - irak - ISIS - IS - Kalifat - - - - ebola - - - - edathy - kinderpornographie - kipo - pädophil - pädophilie - - - - christ - christlich - christen - inflation - - - - pillepalle - schundluder - whatthefuck - + + Wirtschaft + Wirtschaftswachstum + Wachstum + Investitionen + + + Inflation + Verbraucherpreisindex + Lebensmittelpreise + Lebenshaltungskosten + Leitzins + + + Arbeitslosigkeit + Arbeitslosenquote + Arbeitsmarkt + + + Zentralbank + EZB + + + Staatsverschuldung + Schuldenquote + Haushaltskürzungen + Staatsdefizit + Finanzpolitik + Haushaltspolitik + + + Steuer + Steuererhöhung + Luxussteuer + Soli + Solidaritätszuschlag + Erbschaftssteuer + Erbsteuer +KFZ-Steuer + Alkoholsteuer + Steueroase + + + Industrie + Subventionen + Schwerindustrie + + + Lohnkontrolle + Preisstopp + + + Gleichberechtigung + Diskriminierung + Homosexuell + Homosexualität + Homoehe + Bürgerrecht + Menschenrecht + Folter + Grundwerte + Nationalismus + Politikverdrossenheit + + + Minderheiten + Rassismus + rassistisch + Rechtsextremismus + Nazi + Nazis + + + Wahlrecht +NPD-Verbot + + + Versammlungsfreiheit + Religion + Religionsfreiheit + Pressefreiheit + Pornografie + Porno + + + Datenschutz + Personalausweis + Perso + Reisepass + Privatsphäre + Persönlichkeitsrecht + Telefon anzapfen + Videoüberwachung + Informationsfreiheit + + + Extremismus + Spione + Spion + linksradikal + rechtsradikal + Linksradikalismus + Rechtsradikalismus + + + Kirchenrecht + Kirchensteuer + + + Einwanderung + Flüchtling + Einbürgerung + Aufenthaltsgenehmigung + Asyl + Asylanfrage + Visum + Visa + Immigration + Gastarbeiter + Grenzkontrolle + + + Gesundheitspolitik + + + Gesundheitsreform + + + Auslandskrankenversicherung + Krankenversicherung + Krankenkasse + + + Pharmaindustrie + Pharma + Medizintechnik + Medikamentenzulassung + Generika + Organspende + Organtransplantation + Spenderorgan + Nahrungsmittelergänzung + klinische Studie + + + Krankenhaus + Krankenhäuser + Notfallversorgung + Pflegeheim + + + + + Kunstfehler + Arztzulassung + medizinische Haftpflicht + ärztlicher Missbrauch + + + medizinische Ausbildung + medizinische Arbeitskraft + medizinisches Personal + Hippokratischer Eid + ärztliche Schweigepflicht + + + Krebsvorsorge + AIDS + HIV + Geschlechtskrankheit + Impfung + Tuberkolose + Epidemien + Krankheit + Seuche + Rauchverbot + + + Säuglinge + Kinderkrankheit + gesunde Kinder + pränatal + Kindersterblichkeit + Abtreibung + Schwangerschaft + + + geistig krank + geistige Krankheit + gestige Gesundheit + psychisch krank + psychische Krankheit + behindert + Barrierefreiheit + barrierefrei + entwicklungsverzögert + Entwicklungsverzögerung + + + Pflegeheim + Langzeitpflege + Hospiz + Sterbehilfe + Behandlung Krebs + Behandlung AIDS + + + Kosten Medikamente + Medikamente Kosten + + + Sehhilfe + Nierenkrankheit + Rollstuhl + Zahnarzt + Zahnmedizin + + + Alkoholmissbrauch + Alkoholsucht + Zigaretten + Raucher + Alkoholkonsum + + + Drogenmissbrauch + Medikamentenmissbrauch + Drogensucht + Medikamentensucht + Hanf + + + medizinische Forschung + medizinische Experimente + + + + + Landwirtschaft + Agrarministerium + Agrarminister + Förster + Lebensmittelversorgung + Bauern + + + Herkunftsbeschriftung + Agrarexport + Agrarimport + europäische Agrarpolitik + + + Agrarsubvention + Milchbauernsubvention + + + Lebensmittelkontrolle + Kennzeichnungspflicht + Lebensmittelkennzeichnung + Fleischverarbeitung + Genmais + Genfleisch + Lebensmittelhygiene + Salmonellen + + + + + Schweinepest + Hühnerpest + Schweinegrippe + Hühnergrippe + Klauenseuche + Rinderwahn + BSE + Tierfutter + Tollwut + + + Tierhaltung + Massentierhaltung + Viehtransport + Tierarztkontrolle + Tiermedizin + Tierarzneimittel + + + + + Fischerei + Fischereiindustrie + Fischfangquote + Fischereistopp + Walfang + Walfangquote + Fischpopulation + + + Biotechforschung + Landwirtschaftsfoschung + grüne Gentechnik + Agrotechnik + + + + + Beschäftigung + Schaffung von Arbeitsplätzen + Arbeitsplatz + Arbeitsplätze + Arbeitsamt + Hartz + Hartz4 + + + Arbeitssicherheit + Arbeitsschutz + Atomsicherheit + Nuklearsicherheit + Bergbausicherheit + Sicherheit am Arbeitsplatz + + + Arbeitsfortbildung + Umschulung + Facharbeitermangel + + + Sozialbeiträge + Vorruhestand + Arbeitslosengeld + Vermögensbildung + Beitragsbemessungsgrenze + Arbeitsunfall + Firmenwagen + + + Gewerkschaften + Verdi + Tarifverhandlung + Streikrecht + Streik + Tarifvertrag + Lohnabschluss + Betriebsrat + + + Mindestlohn + Leiharbeit + Arbeitsbedingungen + Teilzeitarbeit + + + Jugendarbeit + Jugendarbeitslosigkeit + Ausbildung + Ausbildungsplatz + Kinderarbeit + Freiwilliges soziales Jahr + FSJ + Duales Studium + Azubi + + + Elternzeit + Kinderbetreuung + Elternurlaub + Vaterschaftsurlaub + Mutterschaftsurlaub + Kindergarten + Kinderhort + Kita + Kindertagesstätte + + + Gastarbeiter + Saisonarbeiter + Arbeitsmigration + Schwarzarbeit + + + Bildungspolitik + Bildungsniveau + Bildungsbudget + Bildungsministerium + + + Bafög + Hochschule + Universität + Abbrecherquote + Hochschulbildung + Hochschulwesen + Professoren + + + Europäische Schule + Grundschule + + + Zugang zu Bildung + Bildungschancen + Bildungsgleichheit + kostenlose Bildung + + + Aufstiegfortbildung + Berufliche Ausbildung + + + Sonderschulen + Lernschwäche + Behindertenschule + Schule für Behinderte + + + Exzellenzförderung + Bildungsförderung + Bundeszentrale für politische Bildung + öffentliche Bibliotheken + hochbegabte Schüler + + + Kunstpflege + Kulturpflege + deutsches Kulturerbe + Förderung von Theatern + Museum + Filmförderung + nationales Kulturgut + deutsches Kulturgut + + + Bildungsforschung + Bildungtechnologie + + + Rechtschreibreform + neue deutsche Rechtschreibung + diff --git a/issues.xml.long b/issues.xml.long deleted file mode 100644 index 3dc33bc..0000000 --- a/issues.xml.long +++ /dev/null @@ -1,100 +0,0 @@ - - - - energie - energiewende - atomkraft - windkraft - wasserkraft - solarstrom - kraftwerk - strom - - - - ukraine - euromaidan - krim - putin - kiew - - - - schulz - kommission - juncker - ec2014 - ep2014 - europawahl - - - - arbeitsmarkt - mindestlohn - arbeitslosigkeit - hartz4 - arbeitslos - - - - nsa - snowden - bnd - gchq - - - - wm2014 - weltmeister - meister - finale - halbfinale - viertelfinale - achtelfinale - brager - gerbra - argger - gerarg - wm - stadion - - - - israel - gaza - naher osten - nahen osten - nahost - - - - irak - isis - is - kalifat - - - - ebola - - - - nsu - mundlos - zschäpe - - - - edathy - kinderpornographie - kipo - pädophil - pädophilie - - - - pillepalle - schundluder - whatthefuck - - diff --git a/issues.xml.short b/issues.xml.short index c791322..31559cd 100644 --- a/issues.xml.short +++ b/issues.xml.short @@ -62,9 +62,9 @@ irak - isis - is - kalifat + ISIS + IS + Kalifat