Kundenbericht: Handelsüberwachung der Börse Stuttgart oder Wie importiere ich bis zu 1 Milliarde Zeilen am Tag im laufenden Betrieb?

Heute gibt es mal wieder einen schönen Kundenbericht, diesmal von einem Projekt, an dem ich selbst am Anfang mitgewirkt habe. Der Kunde ist die Handelsüberwachung der Baden-Württembergische Wertpapierbörse Stuttgart. Die Spezialität dieser Börse ist der Anleihen- und Derivatehandel. Täglich durchlaufen bis zu einer Milliarde Datensätze für die verschiedenen Wertpapiere die Börse. Aufgabe der Handelsüberwachung ist es nun unter anderem, diese Daten auf Unregelmäßigkeiten und Verstöße gegen die Börsenregeln zu untersuchen.

Daher müssen die Preisstellungen/Taxen und die tatsächlich abgewickelten Trades in eine Auswertungsdatenbank importiert und möglichst zeitnah ausgewertet werden. Anders als bei einem normalen Data Warehouse wird die Zieltabelle also während des Bulk Loads für Auswertungen abgefragt. Das übliche Verfahren: Indizes deaktivieren, importieren, Indizes wieder aufbauen geht hier somit nicht.

Im beiliegenden Whitepaper beschreibt der Kunde die gefundene Lösung, die auf Tabellenpartitionierung und Partitionsumschaltung sowie Datenimport mit SQL Server Integration Services beruht.

Was mich neben der großen Datenmenge bei völlig normaler Hardware bei diesem Projekt noch begeistert hat ist die kurze Implementierungszeit neben dem Tagesgeschäft: Der Kunde kam auf der CeBit im März auf mich zu, daraufhin war ich am 2. April in Stuttgart, und am 15. Mai bekam ich das fertige Whitepaper, laut dem die Lösung bereits drei Wochen im Produktivbetrieb ist.

Ein Zitat des Kunden:

Seit wir die Partitionstechnologie im System realisiert haben, haben wir nun keinerlei Bedenken mehr gegenüber großen Datenmengen.

Hier nun das Whitepaper, mit dem üblichen Disclaimer: Das Whitepaper gibt die Sicht des Kunden (Handelsüberwachungsstelle der Baden-Württembergische Wertpapierbörse Stuttgart) wieder, nicht meine oder die der Microsoft Deutschland GmbH

Gruß,
Steffen

Comments

• Anonymous
  January 01, 2003
  Heute gibt es mal wieder einen schönen Kundenbericht, diesmal von einem Projekt, an dem ich selbst am

• Anonymous
  May 22, 2009
  sehr interessant. Vielen Dank an Herrn Rupp