better import of issuelist

issuecomp-analysis.R

@@ -23,13 +23,15 @@ unlink(id_folder, recursive = TRUE)
 dir.create(id_folder)
 
 issues <- data.frame(date = drange)
-issuelist <- xmlToList("issues.xml")
+issuelist <- readLines("issues.xml")
+issuelist <- str_replace_all(string = issuelist, pattern = ".*<!-- .+ -->", "")
+issuelist <- xmlToList(issuelist)
 issueheads <- names(issuelist)
 issues[issueheads] <- 0
 tweets$issue <- ""
 tweets$tags <- ""
 
-tagexpand <- c("", "s", "n", "en")
+tagexpand <- c("", "s", "n", "en", "er")
 
 for(d in 1:nrow(issues)) {
   # Go through every day

issues.xml

@@ -1,27 +1,23 @@
 <issuelist>
-<1.macro>
+<i1.macro>
   <tag>Wirtschaft</tag>
   <tag>Wirtschaftswachstum</tag>
   <tag>Wachstum</tag>
   <tag>Investitionen</tag>
 
-
   <tag>Inflation</tag>
   <tag>Verbraucherpreisindex</tag>
   <tag>Lebensmittelpreise</tag>
   <tag>Lebenshaltungskosten</tag>
   <tag>Leitzins</tag>
 
-
   <tag>Arbeitslosigkeit</tag>
   <tag>Arbeitslosenquote</tag>
   <tag>Arbeitsmarkt</tag>
 
-
   <tag>Zentralbank</tag>
   <tag>EZB</tag>
 
-
   <tag>Staatsverschuldung</tag>
   <tag>Schuldenquote</tag>
   <tag>Haushaltskürzung</tag>
@@ -29,7 +25,6 @@
   <tag>Finanzpolitik</tag>
   <tag>Haushaltspolitik</tag>
 
-
   <tag>Steuer</tag>
   <tag>Steuererhöhung</tag>
   <tag>Luxussteuer</tag>
@@ -41,17 +36,15 @@
   <tag>Alkoholsteuer</tag>
   <tag>Steueroase</tag>
 
-
   <tag>Industrie</tag>
   <tag>Subventionen</tag>
   <tag>Schwerindustrie</tag>
 
-
   <tag>Lohnkontrolle</tag>
   <tag>Preisstopp</tag>
+</i1.macro>
 
-</1.macro>
+<i2.civil>
-<2.civil>
   <tag>Gleichberechtigung</tag>
   <tag>Diskriminierung</tag>
   <tag>Homosexuell</tag>
@@ -64,18 +57,15 @@
   <tag>Nationalismus</tag>
   <tag>Politikverdrossenheit</tag>
 
-
   <tag>Minderheiten</tag>
   <tag>Rassismus</tag>
   <tag>rassistisch</tag>
   <tag>Rechtsextremismus</tag>
   <tag>Nazis</tag>
 
-
   <tag>Wahlrecht</tag>
   <tag>NPD-Verbot</tag>
 
-
   <tag>Versammlungsfreiheit</tag>
   <tag>Religion</tag>
   <tag>Religionsfreiheit</tag>
@@ -83,7 +73,6 @@
   <tag>Pornografie</tag>
   <tag>Porno</tag>
 
-
   <tag>Datenschutz</tag>
   <tag>Personalausweis</tag>
   <tag>Perso</tag>
@@ -94,7 +83,6 @@
   <tag>Videoüberwachung</tag>
   <tag>Informationsfreiheit</tag>
 
-
   <tag>Extremismus</tag>
   <tag>Spion</tag>
   <tag>linksradikal</tag>
@@ -102,11 +90,9 @@
   <tag>Linksradikalismus</tag>
   <tag>Rechtsradikalismus</tag>
 
-
   <tag>Kirchenrecht</tag>
   <tag>Kirchensteuer</tag>
 
-
   <tag>Einwanderung</tag>
   <tag>Flüchtling</tag>
   <tag>Einbürgerung</tag>
@@ -118,20 +104,17 @@
   <tag>Immigration</tag>
   <tag>Gastarbeiter</tag>
   <tag>Grenzkontrolle</tag>
+</i2.civil>
 
-</2.civil>
+<i3.health>
-<3.health>
   <tag>Gesundheitspolitik</tag>
 
-
   <tag>Gesundheitsreform</tag>
 
-
   <tag>Auslandskrankenversicherung</tag>
   <tag>Krankenversicherung</tag>
   <tag>Krankenkasse</tag>
 
-
   <tag>Pharmaindustrie</tag>
   <tag>Pharma</tag>
   <tag>Medizintechnik</tag>
@@ -143,28 +126,22 @@
   <tag>Nahrungsmittelergänzung</tag>
   <tag>klinische Studie</tag>
 
-
   <tag>Krankenhaus</tag>
   <tag>Krankenhäuser</tag>
   <tag>Notfallversorgung</tag>
   <tag>Pflegeheim</tag>
 
-
-
-
   <tag>Kunstfehler</tag>
   <tag>Arztzulassung</tag>
   <tag>medizinische Haftpflicht</tag>
   <tag>ärztlicher Missbrauch</tag>
 
-
   <tag>medizinische Ausbildung</tag>
   <tag>medizinische Arbeitskraft</tag>
   <tag>medizinisches Personal</tag>
   <tag>Hippokratischer Eid</tag>
   <tag>ärztliche Schweigepflicht</tag>
 
-
   <tag>Krebsvorsorge</tag>
   <tag>AIDS</tag>
   <tag>HIV</tag>
@@ -176,7 +153,6 @@
   <tag>Seuche</tag>
   <tag>Rauchverbot</tag>
 
-
   <tag>Säuglinge</tag>
   <tag>Kinderkrankheit</tag>
   <tag>gesunde Kinder</tag>
@@ -185,7 +161,6 @@
   <tag>Abtreibung</tag>
   <tag>Schwangerschaft</tag>
 
-
   <tag>geistig krank</tag>
   <tag>geistige Krankheit</tag>
   <tag>gestige Gesundheit</tag>
@@ -197,7 +172,6 @@
   <tag>entwicklungsverzögert</tag>
   <tag>Entwicklungsverzögerung</tag>
 
-
   <tag>Pflegeheim</tag>
   <tag>Langzeitpflege</tag>
   <tag>Hospiz</tag>
@@ -205,38 +179,32 @@
   <tag>Behandlung Krebs</tag>
   <tag>Behandlung AIDS</tag>
 
-
   <tag>Kosten Medikamente</tag>
   <tag>Medikamente Kosten</tag>
 
-
   <tag>Sehhilfe</tag>
   <tag>Nierenkrankheit</tag>
   <tag>Rollstuhl</tag>
   <tag>Zahnarzt</tag>
   <tag>Zahnmedizin</tag>
 
-
   <tag>Alkoholmissbrauch</tag>
   <tag>Alkoholsucht</tag>
   <tag>Zigaretten</tag>
   <tag>Raucher</tag>
   <tag>Alkoholkonsum</tag>
 
-
   <tag>Drogenmissbrauch</tag>
   <tag>Medikamentenmissbrauch</tag>
   <tag>Drogensucht</tag>
   <tag>Medikamentensucht</tag>
   <tag>Hanf</tag>
 
-
   <tag>medizinische Forschung</tag>
   <tag>medizinische Experimente</tag>
+</i3.health>
 
-
+<i4.agrar>
-</3.health>
-<4.agrar>
   <tag>Landwirtschaft</tag>
   <tag>Agrarministerium</tag>
   <tag>Agrarminister</tag>
@@ -244,17 +212,14 @@
   <tag>Lebensmittelversorgung</tag>
   <tag>Bauern</tag>
 
-
   <tag>Herkunftsbeschriftung</tag>
   <tag>Agrarexport</tag>
   <tag>Agrarimport</tag>
   <tag>europäische Agrarpolitik</tag>
 
-
   <tag>Agrarsubvention</tag>
   <tag>Milchbauernsubvention</tag>
 
-
   <tag>Lebensmittelkontrolle</tag>
   <tag>Kennzeichnungspflicht</tag>
   <tag>Lebensmittelkennzeichnung</tag>
@@ -264,9 +229,6 @@
   <tag>Lebensmittelhygiene</tag>
   <tag>Salmonellen</tag>
 
-
-
-
   <tag>Schweinepest</tag>
   <tag>Hühnerpest</tag>
   <tag>Schweinegrippe</tag>
@@ -277,7 +239,6 @@
   <tag>Tierfutter</tag>
   <tag>Tollwut</tag>
 
-
   <tag>Tierhaltung</tag>
   <tag>Massentierhaltung</tag>
   <tag>Viehtransport</tag>
@@ -285,9 +246,6 @@
   <tag>Tiermedizin</tag>
   <tag>Tierarzneimittel</tag>
 
-
-
-
   <tag>Fischerei</tag>
   <tag>Fischereiindustrie</tag>
   <tag>Fischfangquote</tag>
@@ -296,15 +254,13 @@
   <tag>Walfangquote</tag>
   <tag>Fischpopulation</tag>
 
-
   <tag>Biotechforschung</tag>
   <tag>Landwirtschaftsfoschung</tag>
   <tag>grüne Gentechnik</tag>
   <tag>Agrotechnik</tag>
+</i4.agrar>
 
-
+<i5.labor>
-</4.agrar>
-<5.labor>
   <tag>Beschäftigung</tag>
   <tag>Schaffung von Arbeitsplätzen</tag>
   <tag>Arbeitsplatz</tag>
@@ -313,7 +269,6 @@
   <tag>Hartz</tag>
   <tag>Hartz4</tag>
 
-
   <tag>Arbeitssicherheit</tag>
   <tag>Arbeitsschutz</tag>
   <tag>Atomsicherheit</tag>
@@ -321,12 +276,10 @@
   <tag>Bergbausicherheit</tag>
   <tag>Sicherheit am Arbeitsplatz</tag>
 
-
   <tag>Arbeitsfortbildung</tag>
   <tag>Umschulung</tag>
   <tag>Facharbeitermangel</tag>
 
-
   <tag>Sozialbeiträge</tag>
   <tag>Vorruhestand</tag>
   <tag>Arbeitslosengeld</tag>
@@ -335,7 +288,6 @@
   <tag>Arbeitsunfall</tag>
   <tag>Firmenwagen</tag>
 
-
   <tag>Gewerkschaften</tag>
   <tag>Verdi</tag>
   <tag>Tarifverhandlung</tag>
@@ -345,13 +297,11 @@
   <tag>Lohnabschluss</tag>
   <tag>Betriebsrat</tag>
 
-
   <tag>Mindestlohn</tag>
   <tag>Leiharbeit</tag>
   <tag>Arbeitsbedingungen</tag>
   <tag>Teilzeitarbeit</tag>
 
-
   <tag>Jugendarbeit</tag>
   <tag>Jugendarbeitslosigkeit</tag>
   <tag>Ausbildung</tag>
@@ -362,7 +312,6 @@
   <tag>Duales Studium</tag>
   <tag>Azubi</tag>
 
-
   <tag>Elternzeit</tag>
   <tag>Kinderbetreuung</tag>
   <tag>Elternurlaub</tag>
@@ -373,20 +322,18 @@
   <tag>Kita</tag>
   <tag>Kindertagesstätte</tag>
 
-
   <tag>Gastarbeiter</tag>
   <tag>Saisonarbeiter</tag>
   <tag>Arbeitsmigration</tag>
   <tag>Schwarzarbeit</tag>
+</i5.labor>
 
-</5.labor>
+<i6.edu>
-<6.edu>
   <tag>Bildungspolitik</tag>
   <tag>Bildungsniveau</tag>
   <tag>Bildungsbudget</tag>
   <tag>Bildungsministerium</tag>
 
-
   <tag>Bafög</tag>
   <tag>Hochschule</tag>
   <tag>Universität</tag>
@@ -395,34 +342,28 @@
   <tag>Hochschulwesen</tag>
   <tag>Professoren</tag>
 
-
   <tag>Europäische Schule</tag>
   <tag>Grundschule</tag>
 
-
   <tag>Zugang zu Bildung</tag>
   <tag>Bildungschancen</tag>
   <tag>Bildungsgleichheit</tag>
   <tag>kostenlose Bildung</tag>
 
-
   <tag>Aufstiegfortbildung</tag>
   <tag>Berufliche Ausbildung</tag>
 
-
   <tag>Sonderschulen</tag>
   <tag>Lernschwäche</tag>
   <tag>Behindertenschule</tag>
   <tag>Schule für Behinderte</tag>
 
-
   <tag>Exzellenzförderung</tag>
   <tag>Bildungsförderung</tag>
   <tag>Bundeszentrale für politische Bildung</tag>
   <tag>öffentliche Bibliotheken</tag>
   <tag>hochbegabte Schüler</tag>
 
-
   <tag>Kunstpflege</tag>
   <tag>Kulturpflege</tag>
   <tag>deutsches Kulturerbe</tag>
@@ -432,16 +373,15 @@
   <tag>nationales Kulturgut</tag>
   <tag>deutsches Kulturgut</tag>
 
-
   <tag>Bildungsforschung</tag>
   <tag>Bildungtechnologie</tag>
 
-
   <tag>Rechtschreibreform</tag>
   <tag>neue deutsche Rechtschreibung</tag>
 
-</6.edu>
+</i6.edu>
-<7.env>
+
+<i7.env>
   <!-- 700 -->
   <tag>Umwelt</tag>
   <tag>Umweltpolitik</tag>
@@ -540,9 +480,9 @@
   <tag>Umwelthaftpflicht</tag>
   <tag>Naturkatastrophe</tag>
   <tag>Umweltkatastrophe</tag>
-</7.env>
+</i7.env>
 
-<8.energy>
+<i8.energy>
   <!-- 800 -->
   <tag>Energieversorgung</tag> 
   <tag>Energie</tag> 
@@ -642,9 +582,9 @@
   <!-- 898 -->
   <tag>Energietechnologie</tag> 
   <tag>Energietechnik</tag> 
-</8.energy>
+</i8.energy>
 
-<10.trans>
+<i10.trans>
   <!-- 1000 -->
   <tag>Vekehrspolitik</tag> 
   <tag>Vekehrsbedarf</tag> 
@@ -773,9 +713,9 @@
   <tag>Straßenbelag</tag> 
   <tag>Geräuschminderung</tag> 
   <tag>Lärmminderung</tag> 
-</10.trans>
+</i10.trans>
 
-<12.law>
+<i12.law>
   <!-- 1200 -->
   <tag>Kriminalität</tag> 
   <tag>Gesetz</tag> 
@@ -937,9 +877,9 @@
   <tag>Terrorist</tag> 
   <!-- 1299 -->
   <tag>Opferentschädigung</tag> 
-</12.law>
+</i12.law>
 
-<13.social>
+<i13.social>
   <!-- 1300 --> 
   <tag>Sozialpolitik</tag>
   <tag>Pflegeversicherung</tag>
@@ -1007,9 +947,9 @@
   <tag>Kinderhilfe</tag>
   <!-- 1399 --> 
   <tag>BAföG</tag>
-</13.social>
+</i13.social>
 
-<14.house>
+<i14.house>
   <!-- 1400 --> 
   <tag>Wohnungswesen</tag>
   <tag>Raumungordnung</tag>
@@ -1063,9 +1003,9 @@
   <tag>Obdachlosenheim</tag>
   <tag>auf der straße sitzen</tag>
   <tag>wohnungslos</tag>
-</14.house>
+</i14.house>
 
-<15.finance>
+<i15.finance>
   <!-- 1500 --> 
   <tag>Bank</tag>
   <tag>Banken</tag>
@@ -1214,9 +1154,9 @@
   <tag>Eichgesetz</tag>
   <tag>Zeitmessung</tag>
   <tag>Sommerzeit</tag>
-</15.finance>
+</i15.finance>
 
-<16.defense>
+<i16.defense>
   <tag>Rüstungsbudget</tag>
   <tag>Rüstungsausgaben</tag>
   <tag>Militärbudget</tag>
@@ -1375,9 +1315,9 @@
   <tag>Rüstungsforschung</tag>
   <tag>Rüstungstechnologie</tag>
   <tag>Waffensystem</tag>
-</16.defense>
+</i16.defense>
 
-<17.science>
+<i17.science>
   <!-- 1700 --> 
   <tag>Weltraumforschung</tag>
   <tag>Wissenschaft</tag>
@@ -1471,9 +1411,9 @@
   <tag>Robotertechnik</tag>
   <tag>Robotertechnologie</tag>
   <tag>Forschungsgemeinschaft</tag>
-</17.science>
+</i17.science>
 
-<18.trade>
+<i18.trade>
   <!-- 1800 --> 
   <tag>Außenhandel</tag>
   <tag>Handelspolitik</tag>
@@ -1513,9 +1453,9 @@
   <tag>Währungssystem</tag>
   <tag>Wechselkurspolitik</tag>
   <tag>Importpreis</tag>
-</18.trade>
+</i18.trade>
 
-<19.ib>
+<i19.ib>
   <!-- 1900 --> 
   <tag>internationale Beziehungen</tag>
   <tag>Auslandshilfe</tag>
@@ -1698,9 +1638,9 @@
   <tag>Grenzabkommen</tag>
   <tag>Schengener Abkommen</tag>
   <tag>Goethe Institut</tag>
-</19.ib>
+</i19.ib>
 
-<20.pubadmin>
+<i20.pubadmin>
   <!-- 2000 --> 
   <tag>Öffentliche Verwaltung</tag>
   <tag>öffentlicher Sektor</tag>
@@ -1776,9 +1716,9 @@
   <tag>Regierungskorruption</tag>
   <!-- 2030 --> 
   <tag>Feiertag</tag>
-</20.pubadmin>
+</i20.pubadmin>
 
-<21.publand>
+<i21.publand>
   <!-- 2100 --> 
   <tag>öffentliches Land</tag>
   <tag>Wasserwirtschaft</tag>
@@ -1802,16 +1742,16 @@
   <tag>Dämme</tag>
   <tag>Reservat</tag>
   <tag>Flutkontrolle</tag>
-</21.publand>
+</i21.publand>
 
-<24.stateadm>
+<i24.stateadm>
   <!-- 2400 --> 
   <tag>Melderecht</tag>
   <tag>Subsidiarität</tag>
   <tag>Subsidiaritätsprinzip</tag>
-</24.stateadm>
+</i24.stateadm>
 
-<25.reuni>
+<i25.reuni>
   <!-- 2500 --> 
   <tag>Wiedervereinigung</tag>
   <tag>DDR</tag>
@@ -1832,24 +1772,24 @@
   <tag>Anpassung des Lebensstandards</tag>
   <!-- 2599 --> 
   <tag>Reise in DDR</tag>
-</25.reuni>
+</i25.reuni>
 
 <!-- Sensational issues -->
-<sens.nsa>
+<s.nsa>
   <tag>NSA</tag>
   <tag>Snowden</tag>
   <tag>GCHQ</tag>
-</sens.nsa>
+</s.nsa>
-<sens.is>
+<s.is>
   <tag>ISIS</tag>
   <tag>IS</tag>
   <tag>al-Baghdadi</tag>
-</sens.is>
+</s.is>
-<sens.ebola>
+<s.ebola>
   <tag>ebola</tag>
-</sens.ebola>
+</s.ebola>
-<sens.edathy>
+<s.edathy>
   <tag>Edathy</tag>
   <tag>Edathy-Affäre</tag>
-</sens.edathy>
+</s.edathy>
 </issuelist>