Schulungsübersicht
Tag 01
Übersicht über Big-Data-Business-Intelligence für die kriminelle Informationsanalyse
- Fallstudien aus der Strafverfolgung - Predictive Policing
- Adoptionsrate von Big Data in Strafverfolgungsbehörden und wie sie ihre zukünftigen Operationen um Big-Data-Predictive-Analytics ausrichten
- Aufkommende technologische Lösungen wie Schussdetektoren, Überwachungsvideos und soziale Medien
- Nutzung von Big-Data-Technologie zur Bewältigung von Informationsüberlastung
- Anbindung von Big Data an Legacy-Daten
- Grundlegendes Verständnis der ermöglichenden Technologien im Predictive Analytics
- Datenintegration & Dashboard-Visualisierung
- Betrugsbekämpfung
- Geschäftsregeln und Betrugserkennung
- Drohkennung und Profilerstellung
- Kosten-Nutzen-Analyse für die Big-Data-Implementierung
Einführung in Big Data
- Hauptmerkmale von Big Data -- Volumen, Vielfalt, Geschwindigkeit und Wahrheitsgehalt.
- MPP-Architektur (Massively Parallel Processing)
- Data Warehouses – statisches Schema, langsam veränderlicher Datensatz
- MPP-Datenbanken: Greenplum, Exadata, Teradata, Netezza, Vertica usw.
- Hadoop-basierte Lösungen – keine Bedingungen für die Struktur des Datensatzes.
- Typisches Muster: HDFS, MapReduce (Crunch), Abruf von HDFS
- Apache Spark für Stream-Verarbeitung
- Batch-gerecht – geeignet für analytische / nicht-interaktive Zwecke
- Volumen: CEP-Streaming-Daten
- Typische Wahlmöglichkeiten – CEP-Produkte (z. B. Infostreams, Apama, MarkLogic usw.)
- Weniger produktionsreif – Storm/S4
- NoSQL-Datenbanken – (spaltenorientiert und Key-Value): Am besten geeignet als analytisches Add-on zum Data Warehouse / Datenbank
NoSQL-Lösungen
- KV-Speicher - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- KV-Speicher - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- KV-Speicher (Hierarchisch) - GT.m, Cache
- KV-Speicher (Geordnet) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- KV-Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Tuple-Speicher - Gigaspaces, Coord, Apache River
- Objektdatenbank - ZopeDB, DB40, Shoal
- Dokumenten-Speicher - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Datenbanken, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Wide-Columnar-Speicher - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Vielfalt der Daten: Einführung in Datenbereinigungsprobleme bei Big Data
- RDBMS – statische Struktur / Schema, fördert keine agile, explorative Umgebung.
- NoSQL – halbstukturiert, genug Struktur, um Daten ohne exaktes Schema vor dem Speichern zu speichern
- Datenbereinigungsprobleme
Hadoop
- Wann Hadoop auswählen?
- STRUKTURIERT - Unternehmens-Datenspeicher / Datenbanken können massive Daten (gegen Kosten) speichern, aber Struktur auferlegen (nicht gut für aktive Erkundung)
- HALBSTUKTURIERTE Daten – schwierig mit traditionellen Lösungen durchzuführen (DW / DB)
- Datenspeicherung = ENORMER Aufwand und statisch auch nach der Implementierung
- Für Vielfalt & Volumen von Daten, verarbeitet auf Commodity-Hardware – HADOOP
- Commodity-Hardware erforderlich, um einen Hadoop-Cluster zu erstellen
Einführung in Map Reduce /HDFS
- MapReduce – verteilte Berechnung über mehrere Server
- HDFS – macht Daten lokal für den Berechnungsprozess verfügbar (mit Redundanz)
- Daten – können unstrukturiert / schemafrei sein (im Gegensatz zu RDBMS)
- Entwickler verantwortlich, Sinn in den Daten zu finden
- Programmieren von MapReduce = Arbeiten mit Java (Vor- / Nachteile), manuelles Laden von Daten in HDFS
Tag 02
Big-Data-Ökosystem – Aufbau von Big-Data-ETL (Extrahieren, Transformieren, Laden) – Welche Big-Data-Tools wann zu verwenden?
- Hadoop vs. Andere NoSQL-Lösungen
- Für interaktiven, zufälligen Zugriff auf Daten
- Hbase (spaltenorientierte Datenbank) oben auf Hadoop
- Zufälliger Zugriff auf Daten, aber auferlegte Einschränkungen (max 1 PB)
- Nicht gut für Ad-hoc-Analysen, gut für Protokollierung, Zählen, Zeitreihen
- Sqoop - Import von Datenbanken zu Hive oder HDFS (JDBC / ODBC-Zugriff)
- Flume – Stream-Daten (z. B. Log-Daten) in HDFS
Big-Data-Managementsystem
- Bewegliche Teile, Compute-Knoten starten/ausfallen: ZooKeeper - Für Konfiguration / Koordinierung / Namensdienste
- Komplexe Pipeline / Workflow: Oozie – Workflow verwalten, Abhängigkeiten, Daisy-Chain
- Bereitstellen, Konfigurieren, Cluster-Verwaltung, Upgrade usw. (Sys Admin) : Ambari
- In der Cloud : Whirr
Predictive Analytics – Grundlegende Techniken und Machine-Learning-basierte Business Intelligence
- Einführung in Machine Learning
- Lernen von Klassifizierungstechniken
- Bayessche Vorhersage – Vorbereiten einer Trainingsdatei
- Support Vector Machine
- KNN p-Tree Algebra & vertikales Mining
- Neuronale Netze
- Big-Data-Großvariablenproblem – Random Forest (RF)
- Big-Data-Automatisierungsproblem – Multi-Modell-Ensemble RF
- Automatisierung durch Soft10-M
- Textanalysetool-Treeminer
- Agiles Lernen
- Agentenbasiertes Lernen
- Distributed Learning
- Einführung in Open-Source-Tools für Predictive Analytics : R, Python, Rapidminer, Mahut
Predictive-Analytics-Ökosystem und seine Anwendung in der kriminellen Informationsanalyse
- Technologie und der Ermittlungsprozess
- Insight-Analytik
- Visualisierungsanalytik
- Gestructurierte Predictive Analytics
- Unstrukturierte Predictive Analytics
- Drohung / Fraudstar / Vendor Profilerstellung
- Empfehlungsmaschine
- Mustererkennung
- Regel / Szenario-Erkennung – Versagen, Betrug, Optimierung
- Ursachenanalyse
- Sentiment-Analyse
- CRM-Analytics
- Netzwerkanalytik
- Textanalytik zur Gewinnung von Erkenntnissen aus Transkripten, Zeugenberichten, Internet-Chatter usw.
- Technologieassistierte Überprüfung
- Betrugsanalytik
- Echtzeit-Analytik
Tag 03
Echtzeit- und skalierbare Analytik über Hadoop
- Warum gängige Analytical-Algorithmen in Hadoop / HDFS fehlschlagen
- Apache Hama - für Bulk-Synchronous Distributed Computing
- Apache SPARK - für Cluster Computing und Echtzeit-Analytik
- CMU Graphics Lab2- Graphenbasierter asynchroner Ansatz für Distributed Computing
- KNN p -- Algebrabasierter Ansatz von Treeminer zur Reduzierung der Hardwarekosten des Betriebs
Tools für eDiscovery und Forensik
- eDiscovery über Big Data vs. Legacy-Daten – ein Vergleich von Kosten und Leistung
- Predictive Coding und Technology Assisted Review (TAR)
- Live-Demo von vMiner zum Verständnis, wie TAR eine schnellere Discovery ermöglicht
- Schnellere Indizierung durch HDFS – Geschwindigkeit der Daten
- NLP (Natural Language Processing) – Open-Source-Produkte und Techniken
- eDiscovery in Fremdsprachen – Technologie zur Verarbeitung von Fremdsprachen
Big-Data-BI für Cybersicherheit – Eine 360-Grad-Ansicht, schnelle Datenerfassung und Drohkennung
- Grundlagen des Security Analytics verstehen -- Angriffsfläche, Sicherheitsfehlkonfiguration, Host-Verteidigungen
- Netzwerkinfrastruktur / große Datapipeline / Response ETL für Echtzeit-Analytik
- Prescriptive vs Predictive – Feste regelbasierte vs. automatische Erkennung von Drohungsregeln aus Metadaten
Sammlung unterschiedlicher Daten für die kriminelle Informationsanalyse
- Nutzung von IoT (Internet of Things) als Sensoren zur Datenerfassung
- Nutzung von Satellitenbildern für interne Überwachung
- Nutzung von Überwachungs- und Bilddaten zur Kriminalidentifizierung
- Andere Datenerfassungstechnologien -- Drohnen, Body-Cams, GPS-Tagging-Systeme und Wärmekameras
- Kombination automatisierter Datenabfrage mit Daten aus Informanten, Vernehmungen und Forschung
- Vorhersage krimineller Aktivitäten
Tag 04
Betrugsvorbeugung BI aus Big Data in der Betrugsanalytik
- Einfache Klassifizierung der Betrugsanalytik – regelbasiert vs. predictive Analytics
- Supervised vs unsupervised Machine Learning zur Betrugsmustererkennung
- B2B-Betrug, medizinische Leistungsmanipulation, Versicherungsmissbrauch, Steuerhinterziehung und Geldwäsche
Social-Media-Analytik – Intelligenzgewinnung und -analyse
- Wie Kriminelle soziale Medien nutzen, um sich zu organisieren, rekrutieren und planen
- Big-Data-ETL-API zur Extraktion sozialer Mediendaten
- Text, Bild, Metadaten und Video
- Sentiment-Analyse aus Social-Media-Feeds
- Kontextbasierte und nicht-kontextbasierte Filterung von Social-Media-Feeds
- Social-Media-Dashboard zur Integration diverser sozialer Medien
- Automatisierte Profilerstellung von Social-Media-Profilen
- Jede Analytik wird live über das Treeminer-Tool vorgestellt.
Big-Data-Analytik in der Bildverarbeitung und Videoübermittlung
- Bildspeichertechniken in Big Data – Speicherlösungen für Daten, die Petabytes überschreiten
- LTFS (Linear Tape File System) und LTO (Linear Tape Open)
- GPFS-LTFS (General Parallel File System - Linear Tape File System) – geschichtete Speicherlösung für große Bilddaten
- Grundlagen der Bildanalytik
- Gegenstandserkennung
- Bildsegmentierung
- Bewegungserfassung
- 3D-Bildrekonstruktion
Biometrie, DNA und Next-Generation-Identifikationsprogramme
- Jenseits von Fingerabdrücken und Gesichtserkennung
- Spracherkennung, Tastenanschlag (Analyse der Tippmuster eines Benutzers) und CODIS (Combined DNA Index System)
- Jenseits von DNA-Abgleich: Nutzung forensischer DNA-Phänotypisierung zur Rekonstruktion eines Gesichts aus DNA-Proben
Big-Data-Dashboard für schnellen Zugriff auf diverse Daten und Darstellung :
- Integration bestehender Anwendungsplattformen mit Big-Data-Dashboard
- Big-Data-Verwaltung
- Fallstudie Big-Data-Dashboard: Tableau und Pentaho
- Nutzung von Big-Data-Apps zur Bereitstellung standortbasierter Dienste in der Regierung.
- Verfolgungssystem und Verwaltung
Tag 05
Wie die Implementierung von Big-Data-BI in einer Organisation gerechtfertigt werden kann:
- Definition des ROI (Return on Investment) für die Implementierung von Big Data
- Fallstudien zur Einsparung von Analystenzeit bei der Sammlung und Vorbereitung von Daten – Steigerung der Produktivität
- Einnahmezuwachs durch niedrigere Datenbanklizenzkosten
- Einnahmezuwachs durch standortbasierte Dienste
- Kosteneinsparungen durch Betrugsprävention
- Ein integrierter Tabellenkalkulationsansatz zur Berechnung ungefährer Kosten gegenüber Einnahmezuwachs / Einsparungen aus der Big-Data-Implementierung.
Schritt-für-Schritt-Verfahren zum Ersetzen eines Legacy-Datensystems durch ein Big-Data-System
- Big-Data-Migrations-Roadmap
- Welche kritischen Informationen werden vor der Architektur eines Big-Data-Systems benötigt?
- Wie sind die verschiedenen Möglichkeiten zur Berechnung von Volumen, Geschwindigkeit, Vielfalt und Wahrheitsgehalt von Daten?
- Wie schätzt man das Datenwachstum?
- Fallstudien
Überprüfung der Big-Data-Anbieter und ihrer Produkte.
- Accenture
- APTEAN (ehemals CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (ehemals 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (Teil von EMC)
Fragen- und Antworten-Sitzung
Voraussetzungen
- Kenntnisse der Strafverfolgungsprozesse und Datensysteme
- Grundlegendes Verständnis von SQL/Oracle oder relationalen Datenbanken
- Grundlegende Kenntnisse in Statistik (auf Tabellenkalkulationsebene)
Zielgruppe
- Strafverfolgungsexperten mit technischem Hintergrund
Erfahrungsberichte (3)
Refactoring Übung und Graph Visualisierung
Tiago Kocevar - Lang Energie AG / Osterwalder Zurich AG
Kurs - Business Intelligence and Data Analysis with Metabase
Grundlagen und hat die vorbereiteten Dokumente und Übungen geliebt
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Kurs - Introduction to Predictive AI
Maschinelle Übersetzung
Deepthi war sehr empfänglich für meine Bedürfnisse, sie konnte erkennen, wann sie zusätzliche Komplexität hinzufügen und wann sie zurückhaltend sein und einen strukturierteren Ansatz verfolgen sollte. Deepthi hat wirklich in meinem Tempo gearbeitet und sicher gestellt, dass ich die neuen Funktionen/Tools selbstständig einsetzen kann, indem sie mir zunächst gezeigt hat, wie es geht, und mich dann selbst nachbauen ließ. Dies half enorm bei der Vertiefung des Trainings. Ich bin extrem zufrieden mit den Ergebnissen dieses Trainings und mit Deepthis Fachwissen!
Deepthi - Invest Northern Ireland
Kurs - IBM Cognos Analytics
Maschinelle Übersetzung