Używając CMake, jak uzyskać szczegółowe dane wyjściowe z CTest?

Używam CMake do tworzenia mojego projektu. Dodałem plik binarny testu jednostkowego, który korzysta z platformy testów jednostkowych Boost. Ten plik binarny zawiera wszystkie testy jednostkowe. Dodałem ten plik binarny do uruchomienia przez CTest:

ADD_EXECUTABLE( tftest test-main.cpp )
ENABLE_TESTING()
ADD_TEST( UnitTests tftest)

Ale dane wyjściowe kompilacji w programie Visual Studio pokazują tylko wynik działania CTest:

      Start 1: UnitTests
  1/1 Test #1: UnitTests ................***Failed    0.05 sec

  0% tests passed, 1 tests failed out of 1

Nie jest to zbyt pomocne, ponieważ nie widzę, który test się nie powiódł. Jeśli uruchomię ctest ręcznie z wiersza poleceń --verbose, otrzymam dane wyjściowe z testu jednostkowego Boost, który mówi, co tak naprawdę się nie powiodło:

1: Test command: tftest.exe
1: Test timeout computed to be: 9.99988e+006
1: Running 4 test cases...
1: test-main.cpp(20): error in "sanity_check3": check 1 == 2 failed
1:
1: *** 1 failure detected in test suite "Master Test Suite"
1/1 Test #1: UnitTests ................***Failed    0.00 sec

Więc co muszę zmienić w CMakeLists.txt, aby CTest działał przez --verbosecały czas? Czy istnieje lepszy sposób używania testów jednostkowych Boost z CMake / CTest?

Możesz ustawić zmienną środowiskową CTEST_OUTPUT_ON_FAILURE, która będzie pokazywać wszelkie dane wyjściowe programu testowego, gdy test zakończy się niepowodzeniem. Jednym ze sposobów, aby to zrobić, używając Makefiles i wiersza poleceń, byłby następujący:

env CTEST_OUTPUT_ON_FAILURE=1 make check

To pytanie i odpowiedź dotyczące przepełnienia stosu pokazują, jak ustawić zmienne środowiskowe w programie Visual Studio.

Można było zadzwonić ctestbezpośrednio, po obejrzeniu i wykonaniu projektu.

ctest --verbose

1. Możesz sprawdzić Testing/Temporarypodfolder. Jest tworzony automatycznie po uruchomieniu make test. Ten folder zawiera dwa pliki: LastTest.logi LastTestsFailed.log. LastTest.logzawiera żądane dane wyjściowe do uruchomienia testów. LastTestFailed.logzawiera nazwy testów zakończonych niepowodzeniem. Możesz więc sprawdzić je ręcznie po wykonaniu make test.

2. Drugim sposobem jest pobranie ctest, aby pokazać zawartość plików dziennika po uruchomieniu testów:

   1. umieść w katalogu budowania (z którego uruchamiasz make test) plik CTestCustom.ctest (możesz to zrobić np. poleceniem configure file ) z następującą zawartością

      CTEST_CUSTOM_POST_TEST ("testy kota / tymczasowe / LastTest.log")

Zamiast cat możesz użyć dowolnego polecenia cmd systemu Windows, które robi podobne rzeczy.

2. biegnij make testponownie i zyskaj!

dodatkowe informacje na temat dostosowywania ctest można znaleźć tutaj . Wystarczy przejść do sekcji „Dostosowywanie cmake”. Powodzenia!

Musiałem sam dodać cel „sprawdź”. „rób testy” z jakiegoś powodu nic nie robi. Więc co zrobiłem (jak sugerowałem gdzieś na stackoverflow) - dodałem ten cel ręcznie. Aby uzyskać szczegółowe dane wyjściowe, napisałem to tak:

add_custom_target(check COMMAND ${CMAKE_CTEST_COMMAND} --verbose)

Jest bardzo proste rozwiązanie (które z jakiegoś powodu trudno znaleźć w wyszukiwarce Google):

ctest --output-on-failure

Jeśli używasz CMake z funkcją Otwórz folder programu Visual Studio, możesz dodać

"ctestCommandArgs": "--output-on-failure"

ustawienie do konfiguracji kompilacji.

make check CTEST_OUTPUT_ON_FAILURE=TRUE

To sprawia, że ​​wynik testu jest bardziej szczegółowy:

make test ARGS="-V"

Moje podejście jest kombinacją odpowiedzi z Ony , od Zbyszka , a od TARC . Używam ${CMAKE_COMMAND}zmiennej (która jest ustawiona na ścieżkę bezwzględną do wywoływanego pliku wykonywalnego cmake) z -E env CTEST_OUTPUT_ON_FAILURE=1argumentem do wywołania rzeczywistego polecenia ctest przy użyciu ${CMAKE_CTEST_COMMAND} -C $<CONFIG>. Aby pomóc wyjaśnić, co się dzieje, zacznę od trzech cmake -E echopoleceń, aby pokazać bieżący katalog roboczy i polecenie ctest, które ma zostać wywołane. Oto jak nazywam add_custom_target.

add_custom_target(check 
        ${CMAKE_COMMAND} -E echo CWD=${CMAKE_BINARY_DIR}
        COMMAND ${CMAKE_COMMAND} -E echo CMD=${CMAKE_CTEST_COMMAND} -C $<CONFIG>
        COMMAND ${CMAKE_COMMAND} -E echo ----------------------------------
        COMMAND ${CMAKE_COMMAND} -E env CTEST_OUTPUT_ON_FAILURE=1
            ${CMAKE_CTEST_COMMAND} -C $<CONFIG>
    WORKING_DIRECTORY ${CMAKE_BINARY_DIR}
    DEPENDS ALL_BUILD
    )

Działa to dobrze w MSVC IDE, gdzie wszelkie błędy testowe są wyświetlane jako klikalne błędy kompilacji. Zobacz cmake -E env, aby uzyskać dokumentację cmake -Etrybu przenośnego narzędzia wiersza poleceń. Dodaję również zależność od ALL_BUILD, aby wszystkie projekty zostały zbudowane przed wywołaniem elementu checkdocelowego. (Na Linux buduje, może trzeba wymienić jeden ALL_BUILDz ALL;. Nie testowałem tego jeszcze w systemie Linux)

Dla osób korzystających z Visual Studio, oto kolejna odmiana (hack) na temat:

cmake -E env CTEST_OUTPUT_ON_FAILURE=1 cmake --build . --target RUN_TESTS

aby pokazać wynik w pliku XML, musisz wykonać test za pomocą następującego polecenia

~$ ctest -T Test

i znaleźliśmy wynik w Testing / 1234123432 / test.xml, a inne pliki są również generowane w folderze Testing

ctest -VV lub ctest --extra-verbose

Z dokumentacji :

Włącz bardziej szczegółowe dane wyjściowe z testów.

Dane wyjściowe testu są zwykle pomijane i wyświetlane są tylko informacje podsumowujące. Ta opcja pokaże jeszcze więcej wyników testu.