Militaire intelligentie zit vol met technocraten die overal en overal big data minen die het kan vinden, in dit geval is het afkomstig van sociale media. Waarom moeten militairen miljarden en miljarden berichten op sociale media verzamelen en redden? ⁃ TN Editor
Drie verkeerd geconfigureerde AWS S3-emmers zijn wijd open ontdekt op het openbare internet met "tientallen terabytes" aan posts op sociale media en soortgelijke pagina's - allemaal van over de hele wereld geschraapt door het Amerikaanse leger om interessante personen te identificeren en te profileren.
De archieven werden gevonden by veteraan beveiligingslek jager Chris Vickery van UpGuard tijdens een routinescan van open door Amazon gehoste gegevenssilo's, en deze waren niet precies verborgen. De buckets werden centcom-backup, centcom-archive en pacom-archive genoemd.
CENTCOM is de gebruikelijke afkorting voor het Amerikaanse Central Command, dat legeroperaties in het Midden-Oosten, Noord-Afrika en Centraal-Azië controleert. PACOM is de naam voor US Pacific Command, die de rest van Zuid-Azië, China en Australazië omvat.
Vertelde Vickery Het register vandaag kwam hij ze per ongeluk tegen toen hij een scan uitvoerde naar het woord "COM" in openbaar toegankelijke S3-emmers. Nadat hij zijn zoektocht had verfijnd, dook het CENTCOM-archief op, en aanvankelijk dacht hij dat het gerelateerd was aan de Chinese multinational Tencent, maar al snel realiseerde hij zich dat het een Amerikaans militair archief was van verbazingwekkende omvang.
"Voor het onderzoek heb ik 400 GB aan samples gedownload, maar er waren daarboven vele terabytes aan gegevens", zei hij. "Het zijn voornamelijk gecomprimeerde tekstbestanden die met een factor tien kunnen worden uitgebreid, dus er zijn tientallen en tientallen terabytes beschikbaar en dat is een conservatieve schatting."
Slechts één van de emmers bevatte 1.8 miljard posts op sociale media die de afgelopen acht jaar tot vandaag automatisch werden opgehaald. Het bevat voornamelijk berichten in Centraal-Azië, maar Vickery merkte op dat een deel van het materiaal is ontleend aan opmerkingen van Amerikaanse burgers.
De databases geven ook enkele interessante aanwijzingen over waarvoor deze informatie wordt gebruikt. Documenten verwijzen naar het feit dat het archief werd verzameld als onderdeel van het Outpost-programma van de Amerikaanse regering, een monitoring- en beïnvloedingscampagne op sociale media die is bedoeld om buitenlandse jongeren te targeten en hen weg te houden van terrorisme.
Vickery vond de configuratiebestanden voor de ontwikkeling van Outpost in het archief, evenals Apache Lucene-indexen van trefwoorden die waren ontworpen om te worden gebruikt met de open-sourcezoekmachine Elasticsearch. Een ander bestand verwijst naar Coral, wat mogelijk een verwijzing is naar het dataminingprogramma van het Amerikaanse leger, Coral Reef.
"Coral Reef is een manier om een belangrijke gegevensbron te analyseren om de analist de mogelijkheid te bieden aanzienlijke hoeveelheden gegevens te verzamelen en suggestieve associaties te bieden tussen individuen om dat sociale netwerk uit te bouwen", Mark Kitz, technisch directeur van het Army Distributed Common Ground System - Leger, vertelde het tijdschrift van de Armed Forces Communications and Electronics Association Signal terug in 2012.
"Vroeger gingen we door die inlichtingenrapporten of welke gegevens dan ook die beschikbaar zouden zijn, en dat zou erg handmatig intensief zijn."
