Najlepszy sposób na udokumentowanie mapowań baz danych dla migracji [zamknięte]

Pracuję nad projektem, który obejmuje mapowanie elementów bazy danych na potrzeby migracji i chciałem się dowiedzieć, jakich narzędzi używają do tego inni?

Excel jest bardzo elastycznym sposobem dokumentowania prostych mapowań, ale zastanawiałem się, czy ktoś miał określoną metodologię, którą zastosował, czy inne narzędzia, których mógł użyć?

Najpopularniejszy sposób wykonania tego programu Excel, ale ma on swoje kompromisy:

• Bardzo trudno zaktualizować arkusz kalkulacyjny, jeśli zmieni się którakolwiek strona migracji (z powodu czegoś brakuje, czegoś się zmienia itp.)
• Excel jest trudniejszy w użyciu przez osoby wdrażające udokumentowane w nim reguły.
• Śledzenie zmian jest prawie niemożliwe, jeśli w dokumencie współpracuje wiele osób.

Wolę używać funkcji linii danych narzędzi do modelowania danych, takich jak ER / Studio, ERwin lub PowerDesigner, aby śledzić transformacje wymagane do migracji z jednego magazynu danych do drugiego. Dostaję wszystkie zalety RE i porównuje do źródła i celu, a także żadnych z wymienionych wyżej kompromisów. To naprawdę robi różnicę.

Jeśli próbujesz dokumentować odwzorowania danych, arkusz kalkulacyjny jest prawdopodobnie najprostszym podejściem, chociaż nie jest on doskonały do ​​niczego poza odwzorowaniem 1: 1. Kilka podejść to:

Excel: Możesz używać arkusza kalkulacyjnego do mapowań, szczególnie tam, gdzie są one proste. Jeśli twoje bazy danych nie są izomorficzne (tj. Nie mają mapowania 1: 1 dla wszystkich pól, którymi jesteś zainteresowany), to dokumentowanie mapowania może być nieco bardziej skomplikowane. Jeśli różnice są niewielkie, nadal możesz to udokumentować w arkuszu kalkulacyjnym, dodając uwagi do pól, w których mapowanie jest bardziej złożone.

Narzędzie CASE z niestandardowym meta-modelem Rok lub dwa lata temu zbudowałem rozszerzony meta-model i niektóre powiązane skrypty dla Sparx Enterprise Architect. To pozwoliło mi skonfigurować schematyczne reprezentacje odwzorowań i miało pewne prymitywy modelowania, które pozwoliły ci dokumentować transformacje.

Zauważ, że wymaga to trochę programowania - i trochę czasu, aby przejrzeć interfejs COM API przedstawiony przez EA i być może model repozytorium. Nie jest to jednak takie nieprzejrzyste - znacznie prostsze niż model repozytorium w (na przykład) Oracle Designer.

Jeśli masz naprawdę złożone zadanie migracji danych, możesz pisać skrypty, które sprawdzają model, aby upewnić się (na przykład), że nie masz żadnych niezapisanych elementów. Generator raportów repozytorium jest również dość elastyczny w zakresie tego, co można uwzględnić w raporcie - nie miałem zbyt dużego problemu z uzyskaniem dostosowanych raportów z niego, które zrobiły większość tego, czego chciałem. Możesz także pisać rzeczy, które wyodrębniają dane z modelu i zrzucają je (na przykład) do arkusza kalkulacyjnego.

Diagramy, w tym niestandardowe elementy modelu (EA ma funkcję definiowania kształtu i złącza), można również tworzyć w celu graficznego przeglądu specyfikacji migracji.

Zaletą tego podejścia jest to, że możesz zautomatyzować niektóre elementy kontroli dokumentów migracji i sprawdzić, czy masz pełne pokrycie wszystkiego, czego potrzebujesz. Na przykład można również uwzględnić odniesienia do wymagań dotyczących danych w modelu repozytorium i użyć specjalnie oznaczonych łączy między nimi a źródłowymi lub docelowymi modelami danych.

Narzędzia ETL: jeśli masz dostęp do jednego z najlepszych w swojej klasie narzędzi ETL, takich jak Informatica Powercentre, możesz skonfigurować tam mapowania. Niektóre narzędzia ETL są dość samo-dokumentujące i możesz również użyć tego narzędzia do migracji. SSIS wykona mapowanie, ale nie jest w ten sposób samodokumentujące.

To, czego naprawdę chcesz, to narzędzie CASE z meta-modelem dla mapowań, ale skonfigurowane. Niestety nie znam takiego produktu.

Sugerowałbym użycie SQL Power Doc przez kendalvandyke. To najlepsze bezpłatne narzędzie, które robi całkiem niezłą SQL Server i dokumentację Windows za pomocą Windows PowerShell. IT jest dostępny w codeplex.

SQL Power Doc to zbiór skryptów i modułów Windows PowerShell, które wykrywają, dokumentują i diagnozują wystąpienia SQL Server oraz ich leżące u ich podstaw konfiguracje systemu operacyjnego Windows i komputera. SQL Power Doc współpracuje ze wszystkimi wersjami SQL Server od SQL Server 2000 do 2012 oraz wszystkimi wersjami Windows Server i konsumenckich systemów operacyjnych Windows od Windows 2000 i Windows XP do Windows Server 2012 i Windows 8. SQL Power Doc jest również w stanie dokumentować Bazy danych SQL systemu Windows Azure.

Odniosłem sukces w korzystaniu z Dokumentu SQL firmy Red Gate . Jest prosty w konfiguracji i zapewnia dobrą dokumentację. Jednak jeśli szukasz czegoś z graficzną reprezentacją tabel i widoków oraz ich relacji, nie mogę ci w tym pomóc.

Z mojego doświadczenia wynika, że ​​żadna z gotowych aplikacji, które wypróbowałem, nie zawiera wystarczającej ilości użytecznych informacji. Z mojego punktu widzenia modelujemy i przechowujemy informacje o prawie wszystkich wartościach w przedsiębiorstwie. Czy same dane mają mniejszą wartość niż inne aktywa przedsiębiorstwa? Dlaczego więc nie dokumentujemy naszych danych, a także innych naszych aktywów? „Repozytorium metadanych” nie opisuje dokładnie tego, co jest naprawdę potrzebne, ponieważ maluje obraz wielu definicji i struktur, które „siedzą” w większości nieużywane, co nie powinno mieć miejsca. „Aplikacja metadanych” to znacznie lepszy termin.

Modelowałbym twoje metadane tak, jak modelujesz inne dane: pomyśl o tym, jak chcesz go użyć, utwórz model danych metadanych lub „meta-model”, utwórz analogiczne struktury schematów, zapełnij tabele, użyj danych. Wtedy będziesz mógł nie tylko dokumentować swoje metadane, ale będziesz mógł je analizować, odkrywać problemy, a nawet prognozować.

Z moim osobistym doświadczeniem w pracy z gigantyczną organizacją opieki zdrowotnej, w której dane wielu płatników i dostawców pochodzą z wielu źródeł, i naprawdę staje się zadaniem, aby je dokumentować i mapować za pomocą arkusza kalkulacyjnego Excel. Zalecono nam wykonanie POC przez naszego Dyrektora ds. Mapowania AnalytiX (www.analytixds.com)którego spotkał na konferencji. Zastosowaliśmy przypadek użycia na żywo, a wyniki były znakomite. Rozwiązanie jest oparte w 100% na metadanych dostępnych z poziomu przeglądarki internetowej. Wykorzystaliśmy go na poziomie przedsiębiorstwa. Skanuje i organizuje metadane z szerokiej gamy baz danych, modeli danych, płaskich plików i nieustrukturyzowanych danych oraz identyfikuje zależności w górę i w dół za pomocą analizy wpływu i linii danych. GUI jest przyjazny dla użytkownika dzięki łatwemu interfejsowi Przeciągnij / Upuść, aby stworzyć specyfikacje mapowania. Budujemy nie tylko mapowanie i dokumentowanie, ale także automatycznie generujemy zadania ETL dla wewnętrznych narzędzi Informatica i SSIS ETL. Możesz łatwo importować starsze arkusze kalkulacyjne i egzekwować standardy mapowania dzięki wbudowanym konfigurowalnym szablonom mapowania i mieć pełną kontrolę wersji.