สถาปัตยกรรมโซลูชัน BI ในศูนย์แห่งความเป็นเลิศ

บทความนี้มุ่งเป้าหมายไปยังผู้เชี่ยวชาญด้านไอทีและผู้จัดการฝ่ายไอที คุณจะได้เรียนรู้เกี่ยวกับสถาปัตยกรรมโซลูชัน BI ใน COE และเทคโนโลยีต่าง ๆ ที่ใช้ เทคโนโลยีประกอบด้วย Azure, Power BI และ Excel พวกเขาสามารถใช้ประโยชน์ร่วมกันเพื่อส่งมอบแพลตฟอร์ม BI บนคลาวด์ที่ปรับขนาดได้และขับเคลื่อนด้วยข้อมูล

การออกแบบแพลตฟอร์ม BI ที่แข็งแกร่งนั้นค่อนข้างเหมือนกับการสร้างบริดจ์ บริดจ์ที่เชื่อมต่อข้อมูลต้นฉบับที่แปลงและเติมแต่งให้กับผู้บริโภคข้อมูล การออกแบบโครงสร้างที่ซับซ้อนนั้นจําเป็นต้องมีความคิดทางวิศวกรรม แม้ว่าจะสามารถเป็นหนึ่งในสถาปัตยกรรมที่สร้างสรรค์และคุ้มค่าที่สุดที่คุณสามารถออกแบบได้ ในองค์กรขนาดใหญ่ สถาปัตยกรรมโซลูชัน BI สามารถประกอบด้วย:

• แหล่งข้อมูล
• การนําเข้าข้อมูล
• ข้อมูลขนาดใหญ่ /การเตรียมข้อมูล
• คลังข้อมูล
• แบบจําลองความหมาย BI
• รายงาน

แพลตฟอร์มต้องรองรับความต้องการที่เฉพาะเจาะจง โดยเฉพาะอย่างยิ่ง จะต้องปรับขนาดและดําเนินการเพื่อตอบสนองความคาดหวังของบริการทางธุรกิจและผู้บริโภคข้อมูล ในเวลาเดียวกันจะต้องมีความปลอดภัยตั้งแต่ล่างขึ้นไป และจะต้องมีความยืดหยุ่นเพียงพอที่จะปรับให้เข้ากับการเปลี่ยนแปลง เนื่องจากเป็นความเชื่อมั่นว่าต้องทําให้ข้อมูลใหม่และขอบเขตเนื้อหาทางออนไลน์ทันเวลา

เฟรมเวิร์ก

ที่ Microsoft ตั้งแต่เริ่มแรก เราใช้วิธีการที่คล้ายกับระบบโดยลงทุนในการพัฒนาเฟรมเวิร์ก เฟรมเวิร์กทางเทคนิคและกระบวนการทางธุรกิจจะเพิ่มการนําการออกแบบและตรรกะกลับมาใช้ใหม่และให้ผลลัพธ์ที่สอดคล้องกัน นอกจากนี้ ยังมีความยืดหยุ่นในสถาปัตยกรรมที่ใช้ประโยชน์จากเทคโนโลยีจํานวนมาก และช่วยปรับปรุงและลดค่าใช้จ่ายด้านวิศวกรรมผ่านกระบวนการทําซ้ํา

เราเรียนรู้ว่าเฟรมเวิร์กที่ออกแบบมาอย่างดีช่วยเพิ่มความสามารถในการมองเห็นในสายข้อมูล การวิเคราะห์ผลกระทบ การบํารุงรักษาตรรกะทางธุรกิจ การจัดการการจัดหมวดหมู่ และการปรับปรุงให้การกํากับดูแลมีประสิทธิภาพขึ้น นอกจากนี้ การพัฒนาก็เร็วขึ้นและการทํางานร่วมกันระหว่างทีมขนาดใหญ่ก็ยิ่งตอบสนองและมีประสิทธิภาพมากขึ้น

เราจะอธิบายเฟรมเวิร์กของเราหลายอย่างในบทความนี้

แบบจําลองข้อมูล

แบบจําลองข้อมูลช่วยให้คุณสามารถควบคุมวิธีการจัดโครงสร้างและการเข้าถึงข้อมูลได้ สําหรับธุรกิจบริการและผู้บริโภคข้อมูล แบบจําลองข้อมูลเป็นอินเทอร์เฟซกับแพลตฟอร์ม BI

แพลตฟอร์ม BI สามารถส่งมอบแบบจําลองที่แตกต่างกันสามประเภท:

• แบบจําลองระดับองค์กร
• แบบจําลองความหมาย BI
• แบบจําลองการเรียนรู้ของเครื่อง (ML)

แบบจําลองระดับองค์กร

แบบจําลองระดับองค์กร ถูกสร้างขึ้นและดูแลโดยสถาปนิกด้านไอที บางครั้งจะเรียกว่าแบบจําลองมิติหรือดาต้ามาร์ท โดยทั่วไป ข้อมูลจะถูกจัดเก็บในรูปแบบเชิงสัมพันธ์เป็นตารางมิติและตารางข้อเท็จจริง ตารางเหล่านี้จัดเก็บข้อมูลที่ได้รับการทําความสะอาดและเสริมสร้างจากระบบจํานวนมาก และเป็นแหล่งข้อมูลที่เชื่อถือได้สําหรับการรายงานและการวิเคราะห์

แบบจําลองระดับองค์กรส่งมอบแหล่งข้อมูลที่สอดคล้องกันและเป็นแหล่งเดียวสําหรับการรายงานและ BI พวกเขาจะถูกสร้างขึ้นหนึ่งครั้งและใช้ร่วมกันเป็นมาตรฐานขององค์กร นโยบายการกํากับดูแลทําให้มั่นใจได้ว่าข้อมูลมีความปลอดภัย ดังนั้นการเข้าถึงชุดข้อมูลที่ละเอียดอ่อน เช่น ข้อมูลลูกค้าหรือการเงินจะถูกจํากัดบนพื้นฐานความต้องการ พวกเขานําหลักการตั้งชื่อมาใช้เพื่อให้มั่นใจถึงความสอดคล้อง ดังนั้นจึงเป็นการสร้างความน่าเชื่อถือของข้อมูลและคุณภาพ

ในแพลตฟอร์ม BI ระบบคลาวด์ แบบจําลองระดับองค์กรสามารถปรับใช้กับพูล Synapse SQL ใน Azure Synapseได้ จากนั้นพูล Synapse SQL จะกลายเป็นความจริงเวอร์ชันเดียวที่องค์กรสามารถไว้วางใจสําหรับข้อมูลเชิงลึกอย่างรวดเร็วและมีประสิทธิภาพ

แบบจําลองความหมาย BI

แบบจําลองความหมาย BI แสดงเลเยอร์ความหมายผ่านแบบจําลองระดับองค์กร พวกเขาถูกสร้างและดูแลโดยนักพัฒนา BI และผู้ใช้ทางธุรกิจ นักพัฒนา BI สร้างแบบจําลองความหมาย BI หลักที่แหล่งข้อมูลจากแบบจําลองระดับองค์กร ผู้ใช้ทางธุรกิจสามารถสร้างแบบจําลองขนาดเล็ก อิสระหรือสามารถขยายแบบจําลองความหมาย BI หลักด้วยแหล่งข้อมูลจากแผนกหรือภายนอก แบบจําลองความหมาย BI มักมุ่งเน้นที่ขอบเขตเนื้อหาเดียว และมักจะใช้ร่วมกันอย่างกว้างขวาง

การเปิดใช้งานความสามารถทางธุรกิจไม่ใช่สําหรับข้อมูลเพียงอย่างเดียว แต่เป็นแบบจําลองความหมาย BI ที่อธิบายแนวคิด ความสัมพันธ์ กฎ และมาตรฐาน ด้วยวิธีนี้พวกเขาจะเป็นตัวแทนโครงสร้างที่ใช้งานง่ายและเข้าใจง่ายที่กําหนดความสัมพันธ์ของข้อมูลและห่อหุ้มกฎทางธุรกิจเป็นการคํานวณ นอกจากนี้ พวกเขายังสามารถบังคับใช้การอนุญาตข้อมูลที่ละเอียด ทําให้มั่นใจได้ว่าบุคคลที่เหมาะสมสามารถเข้าถึงข้อมูลที่ถูกต้องได้ ที่สําคัญคือ พวกเขาเร่งประสิทธิภาพคิวรี ให้การวิเคราะห์เชิงโต้ตอบที่ตอบสนองได้อย่างยอดเยี่ยม แม้ว่าจะมีข้อมูลหลายเทราไบต์ เช่นเดียวกับแบบจําลองระดับองค์กร แบบจําลองความหมาย BI ใช้หลักการตั้งชื่อเพื่อให้มั่นใจถึงความสอดคล้อง

ในแพลตฟอร์ม BI แบบคลาวด์ นักพัฒนา BI สามารถปรับใช้แบบจําลองความหมาย BI เพื่อ Azure Analysis Servicesความจุ Power BI Premium ของความจุ Microsoft Fabric

สําคัญ

ในบางครั้งที่บทความนี้อ้างอิงถึง Power BI Premium หรือการสมัครใช้งานความจุ (P SKU) โปรดทราบว่าในขณะนี้ Microsoft กําลังรวมตัวเลือกการซื้อและหยุดใช้งาน Power BI Premium ต่อความจุ SKU ลูกค้าใหม่และลูกค้าที่มีอยู่ควรพิจารณาซื้อการสมัครใช้งานความจุ Fabric (F SKU) แทน

สําหรับข้อมูลเพิ่มเติม โปรดดู การปรับปรุงที่สําคัญที่มาพร้อมกับ สิทธิ์การใช้งาน Power BI Premium และ คําถามที่พบบ่อยเกี่ยวกับ Power BI Premium

เราขอแนะนําให้ปรับใช้กับ Power BI เมื่อใช้เป็นเลเยอร์การรายงานและการวิเคราะห์ของคุณ ผลิตภัณฑ์เหล่านี้สนับสนุนโหมดการจัดเก็บข้อมูลที่แตกต่างกัน อนุญาตให้ตารางแบบจําลองข้อมูลแคชข้อมูลหรือใช้ DirectQueryซึ่งเป็นเทคโนโลยีที่ส่งคิวรีผ่านไปยังแหล่งข้อมูลพื้นฐาน DirectQuery เป็นโหมดการจัดเก็บข้อมูลในอุดมคติเมื่อตารางแบบจําลองแสดงถึงปริมาณข้อมูลขนาดใหญ่หรือมีความจําเป็นที่จะให้ผลลัพธ์แบบใกล้เคียงเวลาจริง โหมดที่เก็บข้อมูลสองโหมดสามารถรวมกันได้: แบบจําลองแบบรวม รวมตารางที่ใช้โหมดที่เก็บข้อมูลที่แตกต่างกันในแบบจําลองเดียว

สําหรับแบบจําลองที่มีคิวรีอย่างมาก Azure Load Balancer สามารถใช้เพื่อกระจายโหลดคิวรีอย่างเท่าเทียมกันทั่วทั้งแบบจําลองแบบจําลองอย่างสม่ําเสมอ นอกจากนี้ยังช่วยให้คุณสามารถปรับขนาดแอปพลิเคชันของคุณและสร้างแบบจําลองความหมาย BI ที่พร้อมใช้งานสูง

แบบจําลองการเรียนรู้ของเครื่อง

แบบจําลอง Machine Learning (ML) ถูกสร้างและดูแลโดยนักวิทยาศาสตร์ข้อมูล ส่วนใหญ่แล้ว พวกเขาถูกพัฒนามาจากแหล่งข้อมูลดิบในที่จัดเก็บข้อมูลดิบ

แบบจําลอง ML ที่ได้รับการฝึกสามารถเปิดเผยรูปแบบภายในข้อมูลของคุณ ในหลายสถานการณ์ รูปแบบเหล่านั้นสามารถใช้เพื่อคาดการณ์ที่สามารถใช้เพื่อเพิ่มประสิทธิภาพข้อมูลได้ ตัวอย่างเช่น พฤติกรรมการซื้อสามารถใช้ในการคาดการณ์การเลิกใช้บริการของลูกค้าหรือจัดกลุ่มลูกค้า คุณสามารถเพิ่มผลลัพธ์การคาดการณ์ลงในแบบจําลองระดับองค์กรเพื่อช่วยให้สามารถทําการวิเคราะห์ตามเซกเมนต์ลูกค้าได้

ในแพลตฟอร์ม BI ระบบคลาวด์ คุณสามารถใช้ Azure Machine Learning เพื่อฝึก ปรับใช้ ทําให้เป็นอัตโนมัติ จัดการ และติดตามแบบจําลอง ML ได้

คลังข้อมูล

สิ่งที่อยู่ใจกลางของแพลตฟอร์ม BI คือคลังข้อมูล ซึ่งโฮสต์แบบจําลองระดับองค์กรของคุณ เป็นแหล่งข้อมูลที่ได้รับการอนุมัติ ซึ่งเป็นระบบของระเบียนและเป็นฮับ ซึ่งให้บริการแบบจําลองระดับองค์กรสําหรับการรายงาน BI และวิทยาศาสตร์ข้อมูล

บริการทางธุรกิจจํานวนมาก ซึ่งรวมถึงแอปพลิเคชันของหน่วยธุรกิจ (LOB) สามารถพึ่งพาคลังข้อมูลในฐานะแหล่งข้อมูลที่เชื่อถือได้และมีการควบคุมภายใต้องค์กร

ที่ Microsoft คลังข้อมูลของเราถูกโฮสต์อยู่ใน Azure Data Lake Storage Gen2 (ADLS Gen2) และ Azure Synapse Analytics

• ADLS Gen2 ทําให้ Azure Storage เป็นรากฐานสําหรับการสร้างที่จัดเก็บข้อมูลดิบระดับองค์กรบน Azure ซึ่งออกแบบมาเพื่อให้บริการข้อมูลหลายเพตะไบต์ ในขณะที่ปริมาณงานหลายร้อยกิกะบิต และยังให้ความจุที่เก็บข้อมูลและทรานงานที่มีค่าใช้จ่ายต่ํา นอกจากนี้ยังมีการรองรับการเข้าถึงที่เข้ากันได้กับ Hadoop ซึ่งช่วยให้คุณสามารถจัดการและเข้าถึงข้อมูลได้เช่นเดียวกับที่คุณทํากับ Hadoop Distributed File System (HDFS) อันที่จริงแล้ว Azure HDInsight, Azure Databricksและ Azure Synapse Analytics สามารถเข้าถึงข้อมูลทั้งหมดที่เก็บไว้ใน ADLS Gen2 ได้ ดังนั้นในแพลตฟอร์ม BI จึงเป็นทางเลือกที่ดีในการจัดเก็บข้อมูลจากแหล่งข้อมูลดิบ ข้อมูลแบบกึ่งประมวลผลหรือข้อมูลที่มีการจัดรูปแบบ และข้อมูลพร้อมสําหรับการผลิต เราใช้เพื่อจัดเก็บข้อมูลทางธุรกิจทั้งหมดของเรา
• Azure Synapse Analytics เป็นบริการวิเคราะห์ที่รวบรวมคลังข้อมูลองค์กรและการวิเคราะห์ข้อมูลขนาดใหญ่เข้าด้วยกัน ซึ่งช่วยให้คุณมีอิสระในการคิวรีข้อมูลตามเงื่อนไขของคุณ โดยใช้ทรัพยากรแบบออนดีมานด์หรือทรัพยากรที่จัดสรรแบบไม่มีเซิร์ฟเวอร์ ตามมาตราส่วน Synapse SQL ซึ่งเป็นส่วนประกอบของ Azure Synapse Analytics รองรับการวิเคราะห์ที่ใช้ T-SQL อย่างสมบูรณ์ ดังนั้นจึงเหมาะอย่างยิ่งสําหรับโฮสต์แบบจําลองระดับองค์กรที่ประกอบด้วยตารางมิติและตารางข้อเท็จจริง สามารถโหลดตารางได้อย่างมีประสิทธิภาพจาก ADLS Gen2 โดยใช้คิวรี Polybase T-SQL อย่างง่าย จากนั้นคุณจะมีพลัง MPP เพื่อเรียกใช้การวิเคราะห์ประสิทธิภาพสูง

เฟรมเวิร์กกลไกจัดการกฎทางธุรกิจ

เราพัฒนาเฟรมเวิร์ก กลไกจัดการกฎทางธุรกิจ (BRE) เพื่อจัดทํารายการตรรกะทางธุรกิจใดก็ตามที่สามารถนําไปใช้ในชั้นคลังข้อมูล BRE อาจมีความหมายหลายอย่าง แต่ในบริบทของคลังข้อมูลมีประโยชน์สําหรับการสร้างคอลัมน์จากการคํานวณในตารางเชิงสัมพันธ์ คอลัมน์จากการคํานวณเหล่านี้มักจะแสดงเป็นการคํานวณทางคณิตศาสตร์หรือนิพจน์โดยใช้คําสั่งแบบมีเงื่อนไข

ความตั้งใจคือการแยกตรรกะทางธุรกิจออกจากโค้ด BI หลัก ตามแนวปฏิบัติดั้งเดิม กฎทางธุรกิจนั้นมีการเข้ารหัสแบบตรงไปตรงมาในขั้นตอนการจัดเก็บ SQL ดังนั้นจึงต้องใช้ความพยายามอย่างมากในการบํารุงรักษาเมื่อจําเป็นต้องเปลี่ยนแปลงธุรกิจ ใน BRE จะมีการกําหนดกฎทางธุรกิจหนึ่งครั้งและใช้หลายครั้งเมื่อนําไปใช้กับเอนทิตีคลังข้อมูลที่แตกต่างกัน ถ้าตรรกะการคํานวณจําเป็นต้องเปลี่ยนแปลง จะต้องมีการอัปเดตในที่เดียวเท่านั้นและไม่ได้อยู่ในขั้นตอนการจัดเก็บจํานวนมาก นอกจากนี้ยังมีข้อดีอีกอย่างเช่น: เฟรมเวิร์กของ BRE ช่วยเพิ่มความโปร่งใสและความสามารถในการมองเห็นไปยังตรรกะทางธุรกิจที่นําไปใช้ ซึ่งสามารถแสดงผ่านชุดรายงานที่สร้างเอกสารการอัปเดตด้วยตนเอง

แหล่งข้อมูล

คลังข้อมูลสามารถรวบรวมข้อมูลจากแหล่งข้อมูลใดก็ได้ ส่วนใหญ่สร้างขึ้นจากแหล่งข้อมูล LOB ซึ่งโดยทั่วไปจะเป็นฐานข้อมูลเชิงสัมพันธ์ซึ่งจัดเก็บข้อมูลเฉพาะเรื่องสําหรับการขาย การตลาด การเงิน และอื่น ๆ ฐานข้อมูลเหล่านี้สามารถโฮสต์บนระบบคลาวด์หรือสามารถอยู่ภายในองค์กรได้ แหล่งข้อมูลอื่นสามารถเป็นไฟล์ได้โดยเฉพาะอย่างยิ่งบันทึกเว็บหรือข้อมูล IOT ที่มาจากอุปกรณ์ ยิ่งไปกว่านั้น ข้อมูลสามารถมีแหล่งที่มาได้จากผู้จําหน่าย Software-as-a-Service (SaaS)

ที่ Microsoft ระบบภายในของเราบางส่วนส่งข้อมูลการดําเนินงานไปยัง ADLS Gen2 โดยตรงโดยใช้รูปแบบไฟล์ดิบ นอกเหนือจากที่จัดเก็บข้อมูลดิบของเราแล้ว ระบบแหล่งข้อมูลอื่น ๆ ประกอบด้วยแอปพลิเคชัน LOB เชิงสัมพันธ์, เวิร์กบุ๊ก Excel, แหล่งไฟล์อื่น ๆ และการจัดการข้อมูลหลัก (MDM) และที่เก็บข้อมูลแบบกําหนดเอง ที่เก็บ MDM ช่วยให้เราสามารถจัดการข้อมูลหลักของเราเพื่อให้แน่ใจว่าข้อมูลเชื่อถือได้ เป็นมาตรฐาน และได้รับการตรวจสอบแล้ว

การนําเข้าข้อมูล

ตามระยะเป็นครั้งคราวและตามจังหวะของธุรกิจ ข้อมูลจะถูกส่งเข้ามาจากระบบต้นทางและโหลดลงในคลังข้อมูล ซึ่งอาจเป็นวันละครั้งหรือในช่วงเวลาที่บ่อยมากขึ้น การนําเข้าข้อมูลมีความเกี่ยวข้องกับการสกัดแยก การแปลง และการโหลดข้อมูล หรืออาจเป็นวิธีอื่น: การแยก การโหลด และการแปลงข้อมูล ความแตกต่างเกิดขึ้นเมื่อมีการเปลี่ยนแปลงเกิดขึ้น การแปลงจะถูกนําไปใช้เพื่อทําความสะอาด สร้างความสอดคล้อง รวมรวบ และกําหนดมาตรฐานข้อมูล สําหรับข้อมูลเพิ่มเติม ให้ดู แยก แปลง และโหลด (ETL)

ในท้ายที่สุดเป้าหมายคือการโหลดข้อมูลที่ถูกต้องลงในแบบจําลององค์กรของคุณได้อย่างรวดเร็วและมีประสิทธิภาพที่สุด

ที่ Microsoft เราใช้ Azure Data Factory (ADF) บริการนี้จะถูกใช้เพื่อกําหนดเวลาและผสานการตรวจสอบข้อมูล การแปลง และโหลดจํานวนมากจากระบบแหล่งข้อมูลภายนอกลงในที่จัดเก็บข้อมูลทะเลสาบข้อมูลของเรา ซึ่งถูกจัดการโดยเฟรมเวิร์กแบบกําหนดเองเพื่อประมวลผลข้อมูลแบบขนานและเป็นมาตราส่วน นอกจากนี้ ยังมีการบันทึกที่ครอบคลุมเพื่อสนับสนุนการแก้ไขปัญหา การตรวจสอบประสิทธิภาพ และการเรียกใช้การแจ้งเตือนเมื่อตรงตามเงื่อนไขเฉพาะ

ในขณะเดียวกัน Azure Databricks— แพลตฟอร์มการวิเคราะห์ที่ใช้ Apache Spark ซึ่งปรับให้เหมาะสําหรับแพลตฟอร์มบริการคลาวด์ Azure - ทําการแปลงเฉพาะสําหรับวิทยาศาสตร์ข้อมูล นอกจากนี้ยังสร้างและดําเนินการแบบจําลอง ML โดยใช้ Python notebook คะแนนจากแบบจําลอง ML เหล่านี้ถูกโหลดลงในคลังข้อมูลเพื่อรวมการคาดการณ์กับแอปพลิเคชันและรายงานขององค์กร เนื่องจาก Azure Databricks เข้าถึงไฟล์ของที่จัดเก็บข้อมูลดิบได้โดยตรง จึงช่วยขจัดหรือลดความจําเป็นในการคัดลอกหรือรับข้อมูลลงได้

แผนภาพ

เฟรมเวิร์กการนําเข้าข้อมูล

เราพัฒนาเฟรมเวิร์กการนําเข้า เป็นชุดของตารางการกําหนดค่าและขั้นตอน รองรับวิธีการที่ขับเคลื่อนด้วยข้อมูลเพื่อรับข้อมูลจํานวนมากที่มีความเร็วสูงและใช้รหัสน้อยที่สุด ในระยะสั้น เฟรมเวิร์กนี้ช่วยลดความซับซ้อนของกระบวนการรวบรวมข้อมูลเพื่อโหลดคลังข้อมูล

เฟรมเวิร์กขึ้นอยู่กับตารางการกําหนดค่าที่จัดเก็บแหล่งข้อมูลและข้อมูลที่เกี่ยวข้องกับข้อมูลปลายทาง เช่น ชนิดแหล่งข้อมูล เซิร์ฟเวอร์ ฐานข้อมูล สคีมา และรายละเอียดที่เกี่ยวข้องกับตาราง วิธีการออกแบบนี้หมายความว่า เราไม่จําเป็นต้องพัฒนาไปป์ไลน์ ADF เฉพาะหรือ แพคเกจ SQL Server Integration Services (SSIS) แต่จะมีการเขียนขั้นตอนในภาษาของตัวเลือกของเราเพื่อสร้างไปป์ไลน์ ADF ที่สร้างขึ้นและดําเนินการแบบไดนามิกในขณะทํางาน ดังนั้นการเก็บรวบรวมข้อมูลจึงกลายเป็นแบบฝึกหัดการกําหนดค่าที่สามารถใช้งานได้อย่างง่ายดาย โดยทั่วไปแล้วจะต้องมีแหล่งข้อมูลการพัฒนาที่หลากหลายเพื่อสร้างแพคเกจ ADF หรือแพคเกจ SSIS ที่มีการเข้ารหัสแบบตรงไปตรงมา

เฟรมเวิร์กการนําเข้าข้อมูลถูกออกแบบมาเพื่อลดความซับซ้อนของกระบวนการจัดการกับการเปลี่ยนแปลงสคีมาต้นทางอัพสตรีมด้วย เป็นเรื่องง่ายที่จะอัปเดตข้อมูลการกําหนดค่าด้วยตนเองหรือโดยอัตโนมัติ เมื่อตรวจพบการเปลี่ยนแปลงสคีมาเพื่อรับแอตทริบิวต์ที่เพิ่มเข้ามาใหม่ในระบบต้นทาง

เฟรมเวิร์กการเรียง

เราพัฒนาเฟรมเวิร์กการประสาน ในการดําเนินงานและปรับแต่งไปป์ไลน์ข้อมูลของเรา เฟรมเวิร์กการเรียงใช้การออกแบบที่ขับเคลื่อนด้วยข้อมูลซึ่งขึ้นอยู่กับชุดของตารางการกําหนดค่า ตารางเหล่านี้จะจัดเก็บเมตาดาต้าที่อธิบายการขึ้นต่อกันของไปป์ไลน์และวิธีการแมปข้อมูลต้นทางไปยังโครงสร้างข้อมูลเป้าหมาย การลงทุนในการพัฒนาเฟรมเวิร์กแบบปรับตัวนี้ได้มีการชําระเงินสําหรับตัวเอง ไม่มีข้อกําหนดในการเข้ารหัสการเคลื่อนย้ายข้อมูลแต่ละรายการแบบตรงไปตรงมา

ที่เก็บข้อมูล

ที่จัดเก็บข้อมูลดิบสามารถจัดเก็บข้อมูลดิบจํานวนมากสําหรับการใช้งานในภายหลังพร้อมกับการแปลงข้อมูลการกําหนดระยะ

ที่ Microsoft เราใช้ ADLS Gen2 เป็นแหล่งความจริงเพียงหนึ่งเดียวของเรา ซึ่งจัดเก็บข้อมูลดิบควบคู่ไปกับข้อมูลที่มีการจัดรูปแบบและข้อมูลที่พร้อมสําหรับการผลิต ซึ่งเป็นโซลูชันที่จัดเก็บข้อมูลทะเลสาบที่ปรับขนาดได้และคุ้มค่าสําหรับการวิเคราะห์ข้อมูลขนาดใหญ่ การรวมประสิทธิภาพของระบบไฟล์ประสิทธิภาพสูงกับขนาดใหญ่มันได้รับการปรับให้เหมาะสําหรับปริมาณงานวิเคราะห์ข้อมูลเร่งเวลาในข้อมูลเชิงลึก

ADLS Gen2 มอบสิ่งที่ดีที่สุดสองประการ: เป็นที่เก็บข้อมูล BLOB และเนมสเปซระบบไฟล์ประสิทธิภาพสูงซึ่งเรากําหนดค่าด้วยสิทธิ์การเข้าถึงที่ละเอียด

ข้อมูลที่ปรับแต่งแล้วจะถูกจัดเก็บไว้ในฐานข้อมูลเชิงสัมพันธ์เพื่อส่งมอบที่เก็บข้อมูลที่มีประสิทธิภาพสูงและปรับขนาดได้สูงสําหรับแบบจําลองระดับองค์กรที่มีความปลอดภัย การกํากับดูแล และความสามารถในการจัดการ ดาต้ามาร์ทเฉพาะเรื่องจะถูกเก็บไว้ใน Azure Synapse Analytics ซึ่งโหลดโดย Azure Databricks หรือคิวรี T-SQL ของ Polybase

การใช้ข้อมูล

ในเลเยอร์การรายงาน บริการทางธุรกิจใช้ข้อมูลองค์กรที่มาจากคลังข้อมูล พวกเขายังเข้าถึงข้อมูลในที่จัดเก็บข้อมูลดิบได้โดยตรงสําหรับการวิเคราะห์เฉพาะกิจหรืองานด้านวิทยาศาสตร์ข้อมูล

มีการบังคับใช้สิทธิ์แบบละเอียดในทุกเลเยอร์: ในที่จัดเก็บข้อมูลริบ แบบจําลองระดับองค์กร และแบบจําลองความหมาย BI การอนุญาตช่วยให้มั่นใจว่าผู้บริโภคข้อมูลสามารถดูข้อมูลที่พวกเขามีสิทธิ์เข้าถึงได้เท่านั้น

ที่ Microsoft เราใช้รายงาน Power BI และแดชบอร์ด และ รายงานที่มีการแบ่งหน้าของ Power BI การวิเคราะห์เฉพาะกิจและการรายงานบางอย่างดําเนินการใน Excel โดยเฉพาะอย่างยิ่งสําหรับการรายงานทางการเงิน

เราเผยแพร่พจนานุกรมข้อมูล ซึ่งให้ข้อมูลอ้างอิงเกี่ยวกับแบบจําลองข้อมูลของเรา พวกเขาจะพร้อมใช้งานสําหรับผู้ใช้ของเราเพื่อให้พวกเขาสามารถค้นพบข้อมูลเกี่ยวกับแพลตฟอร์ม BI ของเรา จัดทําพจนานุกรมการออกแบบแบบจําลองเอกสาร ให้คําอธิบายเกี่ยวกับเอนทิตี รูปแบบ โครงสร้าง สายข้อมูล ความสัมพันธ์ และการคํานวณ เราใช้ Azure Data Catalog เพื่อทําให้แหล่งข้อมูลของเราค้นพบและเข้าใจได้ง่าย

โดยทั่วไปแล้ว รูปแบบการใช้ข้อมูลแตกต่างกันไปตามบทบาท:

• นักวิเคราะห์ข้อมูล เชื่อมต่อโดยตรงกับแบบจําลองความหมาย BI หลัก เมื่อแบบจําลองความหมายหลัก BI ประกอบด้วยข้อมูลและตรรกะทั้งหมดที่ต้องการ พวกเขาจะใช้การเชื่อมต่อแบบสดเพื่อสร้างรายงานและแดชบอร์ด Power BI เมื่อพวกเขาต้องการขยายแบบจําลองด้วยข้อมูลแผนก พวกเขาสร้าง Power BI โมเดลแบบรวม หากจําเป็นต้องใช้รายงานสไตล์สเปรดชีต พวกเขาจะใช้ Excel เพื่อสร้างรายงานตามแบบจําลองความหมาย BI หลักหรือแบบจําลองความหมาย BI ของแผนก
• ผู้พัฒนา BI และผู้เขียนรายงานการดําเนินงานเชื่อมต่อโดยตรงกับแบบจําลองระดับองค์กร พวกเขาใช้ Power BI Desktop เพื่อสร้างรายงานการวิเคราะห์การเชื่อมต่อสด พวกเขายังสามารถสร้างรายงาน BI ประเภทการดําเนินงานเป็นรายงานที่มีการแบ่งหน้าของ Power BI การเขียนคิวรี SQL ดั้งเดิมเพื่อเข้าถึงข้อมูลจากแบบจําลององค์กร Azure Synapse Analytics โดยใช้ T-SQL หรือแบบจําลองความหมายของ Power BI โดยใช้ DAX หรือ MDX
• นักวิทยาศาสตร์ข้อมูล เชื่อมต่อโดยตรงกับข้อมูลใน data lake พวกเขาใช้ Azure Databricks และ Python notebook เพื่อพัฒนาแบบจําลอง ML ซึ่งมักจะเป็นแบบทดลองและต้องการทักษะพิเศษสําหรับการใช้งานจริง

เนื้อหาที่เกี่ยวข้อง

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับบทความนี้ โปรดดูทรัพยากรต่อไปนี้:

• แผนงานการปรับใช้ผ้า : ศูนย์แห่งความเป็นเลิศ
• Enterprise BI ใน Azure ด้วย Azure Synapse Analytics
• คำ ถาม ลองถาม ชุมชน Fabric
• คำ แนะ นำ มีส่วนช่วยปรับปรุง ผ้า

บริการวิชาชีพ

คู่ค้า Power BI ที่ผ่านการรับรองพร้อมใช้งานเพื่อช่วยให้องค์กรของคุณประสบความสําเร็จเมื่อตั้งค่า COE พวกเขาสามารถให้การฝึกอบรมที่คุ้มค่าหรือการตรวจสอบข้อมูลของคุณ หากต้องการค้นหาคู่ค้า Power BI โปรดไปที่พอร์ทัลคู่ค้า Microsoft Power BI

นอกจากนี้คุณยังสามารถมีส่วนร่วมกับคู่ค้าที่ปรึกษาที่มีประสบการณ์ ซึ่งสามารถช่วยให้คุณ ประเมินประเมินหรือ Power BI ได้