SQL Server 2005 VLDB 支援
最近在協助客戶驗證使用 SQL Server 2005 來處理超過 10 億筆的資料匯入並建立索引。要處理這麼大量資料的例子還是第一次,所以做了一些功課,透過這個 Blog 整理給有需的的人參考。
在 Strategies for Partitioning Relational Data Warehouses in Microsoft SQL Server 文中提到,在規畫一個大型的資料倉儲時,必須考慮下列要點:
- Data volume
- Data loading window
- Index maintenance window
- Workload characteristics
- Data aging strategy
- Archive and backup strategy
- Hardware characteristics
文中主要說明在規劃 VLDB 時使用 Partitioned Table 和 Single Table 的差異與規劃點。
另外關於將資料匯入的規劃方面,在 Microsoft SQL Server Development Customer Advisory Team 的 Blog 文章:Load 1TB in less than 1 hour 文中說明如何在一小時內 Bulk Insert 1TB 的資料。文中並分享了 Bulk Insert 大量資料的 Best Practices,非常值得有需求的您參考。
先寫到這裡,未來會陸續更新。