diff --git a/issuecomp-analysis.R b/issuecomp-analysis.R
index 0bf30e6..e010780 100644
--- a/issuecomp-analysis.R
+++ b/issuecomp-analysis.R
@@ -2,6 +2,7 @@ require(lubridate)
require(XML)
require(ggplot2)
require(reshape2)
+require(stringr)
# Create date range
date_start <- as.Date("2014-01-01")
@@ -15,8 +16,10 @@ issueheads <- names(issuelist)
issues[issueheads] <- 0
for(d in 1:nrow(issues)) {
+ # Go through every day
curdate <- issues$date[d]
cat(as.character(curdate),"\n")
+
# Put all tweets from specific day in a temporary DF
tweets_curday <- tweets[tweets[, "created_at"] == curdate, ]
diff --git a/issues.txt b/issues.txt
index 5f3161b..2852eb2 100644
--- a/issues.txt
+++ b/issues.txt
@@ -1,115 +1,490 @@
-1 Wirtschaft
-- Wirtschaft
-- Wirtschaftswachstum
-- Wachstum
-- Investitionen
+# 1 Wirtschaft
+Wirtschaft
+Wirtschaftswachstum
+Wachstum
+Investitionen
-- Inflation
-- Verbraucherpreisindex
-- Lebensmittelpreise
-- Lebenshaltungskosten
-- Leitzins
+101
+Inflation
+Verbraucherpreisindex
+Lebensmittelpreise
+Lebenshaltungskosten
+Leitzins
-- (Arbeitslosigkeit)
+103
+(Arbeitslosigkeit)
+Arbeitslosenquote
+Arbeitsmarkt
-- Zentralbank
-- EZB
+104
+Zentralbank
+EZB
-- Staatsverschuldung
-- Schuldenquote
-- Haushaltskürzungen
-- Staatsdefizit
-- Finanzpolitik
-- Haushaltspolitik
+105
+Staatsverschuldung
+Schuldenquote
+Haushaltskürzungen
+Staatsdefizit
+Finanzpolitik
+Haushaltspolitik
-- Steuern
-- Steuer
-- Steuererhöhung
-- Luxussteuer
-- Soli
-- Solidaritätszuschlag
-- Erbschaftssteuer
-- Erbsteuer
-- KFZ-Steuer
-- Alkoholsteuer
+107
+Steuer
+Steuererhöhung
+Luxussteuer
+Soli
+Solidaritätszuschlag
+Erbschaftssteuer
+Erbsteuer
+KFZ-Steuer
+Alkoholsteuer
+Steueroase
-- (Steueroasen)
-- (Steueroase)
-
-- Industrie
-- Subventionen
-- Schwerindustrie
+108
+Industrie
+Subventionen
+Schwerindustrie
110
-- Lohnkontrolle
-- Preisstopp
+Lohnkontrolle
+Preisstopp
-2 Bürgerrechte
+# 2 Bürgerrechte
200
-- Gleichberechtigung
-- Diskriminierung
-- Homosexuell
-- Homosexualität
-- Homoehe
-- Homoehen
-- Bürgerrechte
-- Bürgerrecht
-- Menschenrecht
-- Menschenrechte
-- (Folter)
-- (Folterbericht)
-- Grundwerte
-- Nationalismus
-- Politikverdrossenheit
+Gleichberechtigung
+Diskriminierung
+Homosexuell
+Homosexualität
+Homoehe
+Bürgerrecht
+Menschenrecht
+Folter
+Grundwerte
+Nationalismus
+Politikverdrossenheit
201
-- Minderheiten
-- Rassismus
-- rassistisch
-- Rechtsextremismus
-- Nazi
-- Nazis
+Minderheiten
+Rassismus
+rassistisch
+Rechtsextremismus
+Nazi
+Nazis
206
-- Wahlrecht
-- NPD-Verbot
+Wahlrecht
+NPD-Verbot
-3 Gesundheit
+207
+Versammlungsfreiheit
+Religion
+Religionsfreiheit
+Pressefreiheit
+Pornografie
+Porno
+Pornos
-4 Landwirtschaft
+208
+Datenschutz
+Personalausweis
+Perso
+Reisepass
+Privatsphäre
+Persönlichkeitsrecht
+Telefon anzapfen
+Videoüberwachung
+Informationsfreiheit
-5 Arbeitswesen
+209
+Extremismus
+Spione
+Spion
+linksradikal
+rechtsradikal
+Linksradikalismus
+Rechtsradikalismus
-6 Bildung
+210
+Kirchenrecht
+Kirchensteuer
-7 Umwelt
+230
+Einwanderung
+Flüchtling
+Einbürgerung
+Aufenthaltsgenehmigung
+Asyl
+Asylanfrage
+Visum
+Visa
+Immigration
+Gastarbeiter
+Grenzkontrolle
-8 Energie
-9 Verkehr
+# 3 Gesundheit
-10 Recht und Kriminalität
+300
+Gesundheitspolitik
-11 Sozialpolitik
+301
+Gesundheitsreform
-12 Wohnungswesen
+302
+Auslandskrankenversicherung
+Krankenversicherung
+Krankenkasse
-13 Bankwesen
+321
+Pharmaindustrie
+Pharma
+Medizintechnik
+Medikamentenzulassung
+Generika
+Organspende
+Organtransplantation
+Spenderorgan
+Nahrungsmittelergänzung
+klinische Studie
-14 Verteidigung
+322
+Krankenhaus
+Krankenhäuser
+Notfallversorgung
+Pflegeheim
-15 Wissenschaft, Technologie, Kommunikation
+323
-16 Außenhandel
+324
+Kunstfehler
+Arztzulassung
+medizinische Haftpflicht
+ärztlicher Missbrauch
-17 Internationale Beziehungen
+325
+medizinische Ausbildung
+medizinische Arbeitskräfte
+medizinische Arbeitskraft
+medizinisches Personal
+Hippokratischer Eid
+ärztliche Schweigepflicht
-18 Öffentliche Verwaltung
+331
+Krebsvorsorge
+AIDS
+HIV
+Geschlechtskrankheit
+Impfung
+Tuberkolose
+Epidemien
+Krankheit
+Seuche
+Rauchverbot
-19 Öffentliches Land
+332
+Säuglinge
+Kinderkrankheit
+gesunde Kinder
+pränatal
+Kindersterblichkeit
+Abtreibung
+Schwangerschaft
-20 Verwaltung Land und Stadt
+333
+geistig krank
+geistige Krankheit
+gestige Gesundheit
+psychisch krank
+psychische Krankheit
+behindert
+Barrierefreiheit
+barrierefrei
+entwicklungsverzögert
+Entwicklungsverzögerung
-21 Wiedervereinigung
+334
+Pflegeheim
+Langzeitpflege
+Hospiz
+Sterbehilfe
+Behandlung Krebs
+Behandlung AIDS
+
+335
+Kosten Medikamente
+Medikamente Kosten
+
+336
+Sehhilfe
+Nierenkrankheit
+R
+Rollstuhl
+Rollstühle
+Zahnarzt
+Zahnmedizin
+
+342
+Alkoholmissbrauch
+Alkoholsucht
+Zigaretten
+Raucher
+Alkoholkonsum
+
+343
+Drogenmissbrauch
+Medikamentenmissbrauch
+Drogensucht
+Medikamentensucht
+Hanf
+
+398
+medizinische Forschung
+medizinische Experimente
+
+399
+
+
+# 4 Landwirtschaft
+
+400
+Landwirtschaft
+Agrarministerium
+Agrarminister
+Förster
+Lebensmittelversorgung
+Bauern
+
+401
+Herkunftsbeschriftung
+Agrarexport
+Agrarimport
+europäische Agrarpolitik
+
+402
+Agrarsubvention
+Milchbauernsubvention
+
+403
+Lebensmittelkontrolle
+Kennzeichnungspflicht
+Lebensmittelkennzeichnung
+Fleischverarbeitung
+Genmais
+Genfleisch
+Lebensmittelhygiene
+Salmonellen
+
+404
+
+405
+Schweinepest
+Hühnerpest
+Schweinegrippe
+Hühnergrippe
+Klauenseuche
+Rinderwahn
+BSE
+Tierfutter
+Tollwut
+
+406
+Tierhaltung
+Massentierhaltung
+Viehtransport
+Tierarztkontrolle
+Tiermedizin
+Tierarzneimittel
+
+407
+
+408
+Fischerei
+Fischereiindustrie
+Fischfangquote
+Fischereistopp
+Walfang
+Walfangquote
+Fischpopulation
+
+498
+Biotechforschung
+Landwirtschaftsfoschung
+grüne Gentechnik
+Agrotechnik
+
+499
+
+
+# 5 Arbeitswesen
+
+500
+Beschäftigung
+Schaffung von Arbeitsplätzen
+Arbeitsplatz
+Arbeitsplätze
+Arbeitsamt
+Hartz
+Hartz4
+
+501
+Arbeitssicherheit
+Arbeitsschutz
+Atomsicherheit
+Nuklearsicherheit
+Bergbausicherheit
+Sicherheit am Arbeitsplatz
+
+502
+Arbeitsfortbildung
+Umschulung
+Facharbeitermangel
+
+503
+Sozialbeiträge
+Vorruhestand
+Arbeitslosengeld
+Vermögensbildung
+Beitragsbemessungsgrenze
+Arbeitsunfall
+Firmenwagen
+
+504
+Gewerkschaften
+Verdi
+Tarifverhandlung
+Streikrecht
+Streik
+Tarifvertrag
+Lohnabschluss
+Betriebsrat
+
+505
+Mindestlohn
+Leiharbeit
+Arbeitsbedingungen
+Teilzeitarbeit
+
+506
+Jugendarbeit
+Jugendarbeitslosigkeit
+Ausbildung
+Ausbildungsplatz
+Kinderarbeit
+Freiwilliges soziales Jahr
+FSJ
+Duales Studium
+Azubi
+
+508
+Elternzeit
+Kinderbetreuung
+Elternurlaub
+Vaterschaftsurlaub
+Mutterschaftsurlaub
+Kindergarten
+Kinderhort
+Kita
+Kindertagesstätte
+
+529
+Gastarbeiter
+Saisonarbeiter
+Arbeitsmigration
+Schwarzarbeit
+
+
+
+# 6 Bildung
+
+600
+Bildungspolitik
+Bildungsniveau
+Bildungsbudget
+Bildungsministerium
+
+601
+Bafög
+Hochschule
+Universität
+Abbrecherquote
+Hochschulbildung
+Hochschulwesen
+Professoren
+
+602
+Europäische Schule
+Grundschule
+
+603
+Zugang zu Bildung
+Bildungschancen
+Bildungsgleichheit
+kostenlose Bildung
+
+604
+Aufstiegfortbildung
+Berufliche Ausbildung
+
+606
+Sonderschulen
+Lernschwäche
+Behindertenschule
+Schule für Behinderte
+
+607
+Exzellenzförderung
+Bildungsförderung
+Bundeszentrale für politische Bildung
+öffentliche Bibliotheken
+hochbegabte Schüler
+
+609
+Kunstpflege
+Kulturpflege
+deutsches Kulturerbe
+Förderung von Theatern
+Museum
+Filmförderung
+nationales Kulturgut
+deutsches Kulturgut
+
+698
+Bildungsforschung
+Bildungtechnologie
+
+699
+Rechtschreibreform
+neue deutsche Rechtschreibung
+
+
+# 7 Umwelt
+
+# 8 Energie
+
+# 9 Verkehr
+
+# 10 Recht und Kriminalität
+
+# 11 Sozialpolitik
+
+# 12 Wohnungswesen
+
+# 13 Bankwesen
+
+# 14 Verteidigung
+
+# 15 Wissenschaft, Technologie, Kommunikation
+
+# 16 Außenhandel
+
+# 17 Internationale Beziehungen
+
+# 18 Öffentliche Verwaltung
+
+# 19 Öffentliches Land
+
+# 20 Verwaltung Land und Stadt
+
+# 21 Wiedervereinigung
diff --git a/issues.xml b/issues.xml
index c791322..3102a12 100644
--- a/issues.xml
+++ b/issues.xml
@@ -11,80 +11,15 @@
kraftwerk
strom
-
-
- ukraine
- euromaidan
- krim
- putin
- kiew
-
-
-
- arbeitsmarkt
- mindestlohn
- arbeitslosigkeit
- hartz4
- arbeitslos
-
-
-
- nsa
- snowden
- bnd
- gchq
- überwachung
-
-
-
- wm2014
- weltmeister
- meister
- finale
- halbfinale
- viertelfinale
- achtelfinale
- brager
- gerbra
- argger
- gerarg
- wm
- stadion
-
-
-
- israel
- gaza
- naher osten
- nahen osten
- nahost
-
-
-
- irak
- isis
- is
- kalifat
-
-
-
- ebola
-
-
-
- edathy
- kinderpornographie
- kipo
- pädophil
- pädophilie
-
-
- christ
- christlich
- christen
- inflation
-
+
+ ein langer ausdruck
+ binde-strich
+ fünfe
+ achtacht
+ fehlar
+ korrektur
+
pillepalle
diff --git a/issues.xml.short b/issues.xml.short
new file mode 100644
index 0000000..c791322
--- /dev/null
+++ b/issues.xml.short
@@ -0,0 +1,94 @@
+
+
+
+ umwelt
+ energie
+ energiewende
+ atomkraft
+ windkraft
+ wasserkraft
+ solarstrom
+ kraftwerk
+ strom
+
+
+
+ ukraine
+ euromaidan
+ krim
+ putin
+ kiew
+
+
+
+ arbeitsmarkt
+ mindestlohn
+ arbeitslosigkeit
+ hartz4
+ arbeitslos
+
+
+
+ nsa
+ snowden
+ bnd
+ gchq
+ überwachung
+
+
+
+ wm2014
+ weltmeister
+ meister
+ finale
+ halbfinale
+ viertelfinale
+ achtelfinale
+ brager
+ gerbra
+ argger
+ gerarg
+ wm
+ stadion
+
+
+
+ israel
+ gaza
+ naher osten
+ nahen osten
+ nahost
+
+
+
+ irak
+ isis
+ is
+ kalifat
+
+
+
+ ebola
+
+
+
+ edathy
+ kinderpornographie
+ kipo
+ pädophil
+ pädophilie
+
+
+
+ christ
+ christlich
+ christen
+ inflation
+
+
+
+ pillepalle
+ schundluder
+ whatthefuck
+
+