Test porównawczy wirtualizacji: Wprowadzenie
Środowiska wirtualizacji były gorącymi produktami dla użytkowników komputerów Mac od czasu, gdy Apple zaczął używać procesorów Intel na swoich komputerach. Jeszcze przed pojawieniem się firmy Intel dostępne było oprogramowanie emulujące, które pozwalało użytkownikom Maca na uruchamianie systemów Windows i Linux.
Ale emulacja była powolna, używając warstwy abstrakcji do tłumaczenia kodu programowania x86 na kod używany przez architekturę PowerPC wcześniejszych komputerów Mac. Ta warstwa abstrakcji musiała być tłumaczona nie tylko na typ procesora, ale także na wszystkie komponenty sprzętowe. Zasadniczo warstwa abstrakcji musiała tworzyć odpowiedniki oprogramowania kart wideo, dysków twardych, portów szeregowych itp. Rezultatem było środowisko emulacji, które mogło działać w systemie Windows lub Linux, ale było poważnie ograniczone zarówno pod względem wydajności, jak i systemów operacyjnych, które mogą być używany.
Wraz z nadejściem decyzji Apple o zastosowaniu procesorów Intela, cała potrzeba emulacji została usunięta. W jego miejsce pojawiła się możliwość uruchamiania innych systemów operacyjnych bezpośrednio na komputerze Intel Mac. W rzeczywistości, jeśli chcesz uruchamiać system Windows bezpośrednio na komputerze Mac jako opcję przy starcie systemu, możesz użyć Boot Camp, aplikacji, którą firma Apple zapewnia jako wygodny sposób instalacji systemu Windows w środowisku z wieloma uruchomieniami.
Jednak wielu użytkowników potrzebuje sposobu na jednoczesne uruchomienie systemu Mac OS i drugiego systemu operacyjnego. Parallels, a później VMWare i Sun, wprowadziły tę możliwość na komputery Mac z technologią wirtualizacji. Wirtualizacja jest podobna do emulacji, ale ponieważ komputery Mac z procesorem Intel używają tego samego sprzętu co standardowe komputery PC, nie ma potrzeby tworzenia warstwy abstrakcji sprzętu w oprogramowaniu. Zamiast tego, oprogramowanie Windows lub Linux może działać bezpośrednio na sprzęcie, tworząc prędkości, które mogą być prawie tak szybkie, jak gdyby system operacyjny gościa działał natywnie na komputerze.
I na to pytanie próbują odpowiedzieć nasze testy porównawcze. Czy trzej główni gracze wirtualizacji na komputerze Mac - Parallels Desktop for Mac, VMWare Fusion i Sun VirtualBox - spełniają obietnicę bliskich wydajności?
Mówimy "natywny", ponieważ wszystkie środowiska wirtualizacyjne mają pewne koszty ogólne, których nie można ominąć. Ponieważ środowisko wirtualne działa w tym samym czasie, co macierzysty system operacyjny (OS X), konieczne jest współużytkowanie zasobów sprzętowych. Ponadto system OS X musi zapewniać pewne usługi dla środowiska wirtualizacji, takie jak okna i podstawowe usługi. Połączenie tych usług i współużytkowania zasobów ma tendencję do ograniczania wydajności wirtualizowanego systemu operacyjnego.
Aby odpowiedzieć na to pytanie, przeprowadzimy testy porównawcze, aby sprawdzić, jak dobrze trzy główne środowiska wirtualizacji obsługują system Windows.
02 z 07Test porównawczy wirtualizacji: metoda testowania
Zamierzamy użyć dwóch różnych, popularnych, wieloplatformowych testów testowych. Pierwszy, CineBench 10, przeprowadza test rzeczywistego komputera CPU i jego karty graficznej do renderowania obrazów. Pierwszy test wykorzystuje procesor do renderowania fotorealistycznego obrazu, wykorzystując intensywne procesory do renderowania odbić, otoczenia, oświetlenia obszaru i cieniowania. Test jest wykonywany z pojedynczym procesorem lub rdzeniem, a następnie powtarzany przy użyciu wszystkich dostępnych procesorów i rdzeni. Wynik tworzy referencyjny stopień wydajności dla komputera z pojedynczym procesorem, oceną dla wszystkich procesorów i rdzeni oraz wskazaniem, jak wiele rdzeni lub procesorów jest wykorzystywanych.
Drugi test CineBench ocenia wydajność karty graficznej komputera za pomocą OpenGL, aby renderować scenę 3D, gdy kamera porusza się w obrębie sceny. Ten test określa, jak szybko karta graficzna może działać, a jednocześnie dokładnie renderuje scenę.
Drugi zestaw testów to GeekBench 2.1.4, który testuje wydajność procesora i zmiennoprzecinkową, testuje pamięć za pomocą prostego testu wydajności odczytu / zapisu i wykonuje test strumieni mierzący stałą przepustowość pamięci. Wyniki zestawu testów są łączone w celu uzyskania jednego wyniku GeekBench. Rozwiążemy także cztery podstawowe zestawy testowe (wydajność całkowita, wydajność zmiennoprzecinkowa, wydajność pamięci i wydajność strumienia), abyśmy mogli zobaczyć mocne i słabe strony każdego środowiska wirtualnego.
GeekBench używa systemu odniesienia opartego na PowerMac G5 @ 1.6 GHz. Wyniki GeekBench dla systemów referencyjnych są znormalizowane do 1000. Każdy wynik wyższy niż 1000 oznacza komputer, który działa lepiej niż system odniesienia.
Ponieważ wyniki obu zestawów benchmarków są nieco abstrakcyjne, zaczniemy od zdefiniowania systemu odniesienia. W tym przypadku systemem odniesienia będzie komputer Mac używany do uruchamiania trzech środowisk wirtualnych (Parallels Desktop for Mac, VMWare Fusion i Sun Virtual Box). Uruchomimy oba zestawy testowe w systemie referencyjnym i wykorzystamy tę liczbę do porównania skuteczności środowisk wirtualnych.
Wszystkie testy zostaną przeprowadzone po ponownym uruchomieniu systemu hosta i środowiska wirtualnego. Zarówno środowisko hosta, jak i środowisko wirtualne będą wyłączone ze wszystkich aplikacji antywirusowych i antywirusowych. Wszystkie środowiska wirtualne będą uruchamiane w standardowym oknie OS X, ponieważ jest to najczęstsza metoda stosowana we wszystkich trzech środowiskach. W przypadku środowisk wirtualnych żadne aplikacje użytkownika nie będą działać inaczej niż testy porównawcze.W systemie hosta, z wyjątkiem środowiska wirtualnego, nie będą uruchamiane aplikacje użytkownika inne niż edytor tekstowy do robienia notatek przed i po testowaniu, ale nigdy w trakcie rzeczywistego procesu testowania.
03 z 07Test porównawczy wirtualizacji: wyniki testów wydajności dla systemu hosta Mac Pro
System obsługujący trzy środowiska wirtualne (Parallels Desktop for Mac, VMWare Fusion i Sun VirtualBox) to edycja Mac Pro z 2006 roku:
Mac Pro (2006)
Dwa dwurdzeniowe procesory 5160 Zeon (łącznie 4 rdzenie) przy 3,00 GHz
4 MB na rdzeń L2 pamięć podręczna RAM (łącznie 16 MB)
6 GB pamięci RAM składającej się z czterech modułów 1 GB i czterech modułów 512 MB. Wszystkie moduły są parami dopasowanymi.
Przednia szyna 1,33 GHz
Karta graficzna NVIDIA GeForce 7300 GT
Dwa dyski twarde 500 GB Samsung F1 Series. OS X i oprogramowanie do wirtualizacji są rezydentne na dysku startowym; systemy-gości są przechowywane na drugim dysku. Każdy napęd ma swój własny niezależny kanał SATA 2.
Wyniki testów GeekBench i CineBench na komputerze Mac Pro powinny zapewnić praktyczny górny limit wydajności, który powinniśmy zobaczyć z dowolnego wirtualnego środowiska. Mając to na uwadze, chcemy podkreślić, że wirtualne środowisko może przekroczyć wydajność hosta w jakimkolwiek pojedynczym teście. Środowisko wirtualne może mieć dostęp do bazowego sprzętu i ominąć niektóre warstwy systemu operacyjnego OS X. Jest również możliwe, aby zestawy testów testowych dało się oszukać przez system buforowania wydajności wbudowany w środowiska wirtualne i uzyskać wyniki znacznie przekraczające wydajność, która jest faktycznie możliwa.
Wyniki Benchmark
GeekBench 2.1.4
Wynik GeekBench: 6830
Integer: 6799
Zmiennoprzecinkowy: 10786
Pamięć: 2349
Stream: 2057
CineBench R10
Renderowanie, pojedynczy procesor: 3248
Renderowanie, 4 procesory: 10470
Efektywna szybkość z pojedynczego do wszystkich procesorów: 3.22
Cieniowanie (OpenGL): 3249
Szczegółowe wyniki testów porównawczych są dostępne w galerii testów porównawczych Virtualization Benchmark.
04 z 07Test porównawczy wirtualizacji: wyniki testów porównawczych dla programu Parallels Desktop dla komputerów Mac 5
Użyliśmy najnowszej wersji programu Parallels (Parallels Desktop for Mac 5.0). Zainstalowaliśmy nowe kopie Parallels, Windows XP SP3 i Windows 7. Wybraliśmy te dwa systemy operacyjne Windows do testowania, ponieważ uważamy, że Windows XP reprezentuje zdecydowaną większość obecnych instalacji Windows na OS X, i że w przyszłości Windows 7 będzie najczęstszy system operacyjny gościa działający na komputerze Mac.
Przed rozpoczęciem testów sprawdziliśmy i zainstalowaliśmy wszystkie dostępne aktualizacje zarówno dla środowiska wirtualnego, jak i dla dwóch systemów operacyjnych Windows. Gdy wszystko było już aktualne, skonfigurowaliśmy maszyny wirtualne Windows do korzystania z jednego procesora i 1 GB pamięci. Zamknęliśmy paralele i wyłączono Time Machine oraz wszelkie elementy startowe na komputerze Mac Pro, które nie były potrzebne do testowania. Następnie uruchomiliśmy ponownie komputer Mac Pro, uruchomiliśmy Parallels, uruchomiliśmy jedno ze środowisk Windows i wykonaliśmy dwa zestawy testów porównawczych. Po zakończeniu testów skopiowaliśmy wyniki na komputer Mac w celu późniejszego wykorzystania.
Następnie powtórzyliśmy restart i uruchomienie programu Parallels do testów porównawczych drugiego systemu operacyjnego Windows.
Na koniec powtórzyliśmy powyższą sekwencję z systemem gościa ustawionym na użycie 2, a następnie 4 procesorów.
Wyniki Benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 procesora): 2185, 3072, 4377
Windows 7 (1,2,4 CPU): 2223, 2980, 4560
CineBench R10
Windows XP SP3
Rendering (1,2,4 CPU): 2724, 5441, 9644
Cieniowanie (OpenGL) (procesor 1,2,4): 1317, 1317, 1320
CineBench R10
System Windows 7
Rendering (1,2,4 CPU): 2835, 5389, 9508
Cieniowanie (OpenGL) (1,2,4 procesora): 1335, 1333, 1375
Parallels Desktop for Mac 5.0 pomyślnie ukończył wszystkie testy porównawcze. GeekBench dostrzegł jedynie niewielkie różnice w wydajności pomiędzy Windows XP i Windows 7, czego się spodziewaliśmy. GeekBench koncentruje się na testowaniu procesora i wydajności pamięci, więc spodziewamy się, że będzie on dobrym wskaźnikiem wydajności wirtualnego środowiska i tym, jak dobrze udostępnia on komputerowi Mac Pro dostęp do sprzętu gościa.
Test renderowania CineBench pokazał również spójność w obu systemach operacyjnych Windows. Ponownie należy się tego spodziewać, ponieważ test renderowania w znacznym stopniu wykorzystuje procesory i przepustowość pamięci widoczną dla systemów-gości. Test cieniowania jest dobrym wskaźnikiem tego, jak dobrze każde środowisko wirtualne wdrożyło swój sterownik wideo. W przeciwieństwie do pozostałej części sprzętu Mac, karta graficzna nie jest dostępna bezpośrednio w środowisku wirtualnym. Dzieje się tak dlatego, że karta graficzna musi stale dbać o ekran dla środowiska hosta i nie można przekazywać do wyświetlania tylko środowiska gościa. Jest to prawdą, nawet jeśli środowisko wirtualne oferuje opcję wyświetlania pełnoekranowego.
Szczegółowe wyniki testów porównawczych są dostępne w galerii testów porównawczych Virtualization Benchmark.
05 z 07Test porównawczy wirtualizacji: wyniki testów porównawczych dla VMWare Fusion 3.0
Użyliśmy najnowszej wersji VMWare Fusion (Fusion 3.0). Zainstalowaliśmy nowe kopie Fusion, Windows XP SP3 i Windows 7. Wybraliśmy te dwa systemy operacyjne Windows do testowania, ponieważ uważamy, że Windows XP reprezentuje zdecydowaną większość obecnych instalacji Windows na OS X, i że w przyszłości Windows 7 będzie najczęstszy system operacyjny gościa działający na komputerze Mac.
Przed rozpoczęciem testów sprawdziliśmy i zainstalowaliśmy wszystkie dostępne aktualizacje zarówno dla środowiska wirtualnego, jak i dwóch systemów operacyjnych Windows. Gdy wszystko było już aktualne, skonfigurowaliśmy maszyny wirtualne Windows do korzystania z jednego procesora i 1 GB pamięci.Zamykamy Fusion i wyłączamy Time Machine i wszelkie elementy startowe na Mac Pro, które nie są potrzebne do testowania. Następnie ponownie uruchomiliśmy komputer Mac Pro, uruchomiliśmy Fusion, uruchomiliśmy jedno ze środowisk Windows i wykonaliśmy dwa zestawy testów porównawczych. Po zakończeniu testów skopiowaliśmy wyniki na komputer Mac do późniejszego wykorzystania.
Następnie powtórzyliśmy restart i uruchomienie Fusion w testach porównawczych drugiego systemu operacyjnego Windows.
Na koniec powtórzyliśmy powyższą sekwencję z systemem gościa ustawionym na użycie 2, a następnie 4 procesorów.
Wyniki Benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
Windows 7 (1,2,4 CPU): 2388, 3174, 4679
CineBench R10
Windows XP SP3
Rendering (1,2,4 CPU): 2825, 5449, 9941
Cieniowanie (OpenGL) (procesor 1,2,4): 821, 821, 827
CineBench R10
System Windows 7
Rendering (1,2,4 CPU): 2843, 5408, 9657
Cieniowanie (OpenGL) (1,2,4 CPU): 130, 130, 124
Wystąpiły problemy z Fusion i testami porównawczymi. W przypadku Windows XP z pojedynczym procesorem, GeekBench podał wydajność strumienia pamięci w tempie lepszym niż 25-krotność szybkości hosta Mac Pro. Ten nietypowy wynik pamięci uderzył w wynik GeekBench dla pojedynczego procesora wersji systemu Windows XP do 8148. Po wielokrotnym powtarzaniu testu i uzyskiwaniu podobnych wyników, zdecydowaliśmy oznaczyć test jako nieważny i uznać to za problem z interakcją między testem porównawczym, Fusion i Windows XP. Jak najlepiej wiemy, w przypadku konfiguracji z jednym procesorem, Fusion nie zgłosiło poprawnej konfiguracji sprzętowej do aplikacji GeekBench. Jednak GeekBench i Windows XP działały bezbłędnie z dwoma lub więcej procesorami wybranymi.
Mieliśmy również problem z Fusion, Windows 7 i CineBench. Kiedy uruchomiliśmy CineBench pod Windows 7, zgłosił ogólną kartę graficzną jako jedyny dostępny sprzęt graficzny. Podczas gdy ogólna karta graficzna była w stanie uruchomić OpenGL, robiła to w bardzo słabym tempie. Mogło to wynikać z faktu, że host Mac Pro ma starą kartę graficzną NVIDIA GeForce 7300. Wymagania systemowe Fusion sugerują bardziej nowoczesną kartę graficzną. Okazało się jednak interesujące, że w Windows XP test cieniowania CineBench działał bez żadnych problemów.
Poza tymi dwoma dziwactwami, o których mowa powyżej, wydajność Fusion była zgodna z tym, czego oczekiwaliśmy od dobrze zaprojektowanego środowiska wirtualnego.
Szczegółowe wyniki testów porównawczych są dostępne w galerii testów porównawczych Virtualization Benchmark.
06 07Test porównawczy wirtualizacji: wyniki testów dla Sun VirtualBox
Użyliśmy najnowszej wersji Sun VirtualBox (VirtualBox 3.0). Zainstalowaliśmy nowe kopie VirtualBox, Windows XP SP3 i Windows 7. Wybraliśmy te dwa systemy operacyjne Windows do testowania, ponieważ uważamy, że Windows XP reprezentuje zdecydowaną większość obecnych instalacji Windows na OS X, i że w przyszłości Windows 7 będzie najczęstszy system operacyjny gościa działający na komputerze Mac.
Przed rozpoczęciem testów sprawdziliśmy i zainstalowaliśmy wszystkie dostępne aktualizacje zarówno dla środowiska wirtualnego, jak i dwóch systemów operacyjnych Windows. Gdy wszystko było już aktualne, skonfigurowaliśmy maszyny wirtualne Windows do korzystania z jednego procesora i 1 GB pamięci. Zamykamy VirtualBox i wyłączamy Time Machine i wszelkie elementy startowe na komputerze Mac Pro, które nie są potrzebne do testowania. Następnie uruchomiliśmy ponownie komputer Mac Pro, uruchomiliśmy VirtualBox, uruchomiliśmy jedno ze środowisk Windows i wykonaliśmy dwa zestawy testów porównawczych. Po zakończeniu testów skopiowaliśmy wyniki na komputer Mac do późniejszego wykorzystania.
Następnie powtórzyliśmy restart i uruchomienie Fusion w testach porównawczych drugiego systemu operacyjnego Windows.
Na koniec powtórzyliśmy powyższą sekwencję z systemem gościa ustawionym na użycie 2, a następnie 4 procesorów.
Wyniki Benchmark
GeekBench 2.1.4
Windows XP SP3 (1,2,4 CPU): 2345, *, *
Windows 7 (1,2,4 CPU): 2255, 2936, 3926
CineBench R10
Windows XP SP3
Renderowanie (1,2,4 procesora): 7001, *, *
Cieniowanie (OpenGL) (1,2,4 CPU): 1025, *, *
CineBench R10
System Windows 7
Renderowanie (1,2,4 procesora): 2570, 6863, 13344
Cieniowanie (OpenGL) (1,2,4 CPU): 711, 710, 1034
Sun VirtualBox i nasze aplikacje testowe napotkały na problem z Windows XP. W szczególności zarówno GeekBench, jak i CineBench nie mogli zobaczyć więcej niż jednego procesora, niezależnie od tego, jak skonfigurowaliśmy system gościa.
Kiedy testowaliśmy system Windows 7 za pomocą GeekBench, zauważyliśmy, że wykorzystanie wielu procesorów było słabe, co skutkowało najniższymi wynikami dla 2 i 4 konfiguracji procesorów. Wydajność pojedynczego procesora wydawała się być porównywalna z innymi wirtualnymi środowiskami.
CineBench nie mógł zobaczyć więcej niż jednego procesora podczas pracy z Windows XP. Ponadto test renderowania dla systemu Windows XP z jednym procesorem wygenerował jeden z najszybszych wyników, przekraczając nawet samego Mac Pro. Próbowaliśmy powtórzyć test kilka razy; wszystkie wyniki były w tym samym zakresie. Uważamy, że bezpieczne jest zapisywanie wyników pojedynczego procesora w systemie Windows XP do problemu z VirtualBox i sposobem wykorzystania procesorów.
Widzieliśmy również dziwny trzask w renderowaniu wyników dla 2 i 4 testów procesorów w systemie Windows 7. W każdym przypadku szybkość renderowania wzrosła ponad dwukrotnie przy przechodzeniu z 1 do 2 procesorów i od 2 do 4 procesorów. Ten rodzaj wzrostu wydajności jest mało prawdopodobny, a po raz kolejny spiszemy go do wdrożenia przez VirtualBox obsługi wielu procesorów.
Ze wszystkimi problemami z testowaniem porównawczym VirtualBox, jedynymi prawidłowymi wynikami testów mogą być te dla pojedynczego procesora w systemie Windows 7.
Szczegółowe wyniki testów porównawczych są dostępne w galerii testów porównawczych Virtualization Benchmark.
07 z 07Test porównawczy wirtualizacji: wyniki
Po wykonaniu wszystkich testów porównawczych czas ponownie przejrzeć nasze oryginalne pytanie.
Czy trzej główni gracze wirtualizacji na komputerach Mac (Parallels Desktop for Mac, VMWare Fusion i Sun VirtualBox) spełniają obietnicę bliskich wydajności?
Odpowiedź jest mieszana. Żaden z kandydatów do wirtualizacji w naszych testach GeekBench nie był w stanie zmierzyć wydajności komputera Mac Pro. Najlepszy wynik odnotował Fusion, który był w stanie osiągnąć prawie 68,5% wydajności hosta. Parallels był tuż za 66,7%. Podniesienie tyłu było VirtualBox, 57,4%.
Kiedy spojrzeliśmy na wyniki CineBench, które używają bardziej rzeczywistego testu do renderowania obrazów, byli bardzo blisko wyniku gospodarza. Po raz kolejny Fusion znalazł się na szczycie testów renderingu, osiągając 94,9% wydajności hosta. Parallels podążył za 92,1%. VirtualBox nie może niezawodnie zakończyć testu renderowania, pozbawiając go rywalizacji. W jednej iteracji testu renderowania VirtualBox poinformował, że wykonał 127,4% lepszy od hosta, podczas gdy w innych nie mógł rozpocząć ani zakończyć.
Test cieniowania, który sprawdza, jak dobrze karta graficzna działa przy użyciu OpenGL, okazał się najgorszym ze wszystkich wirtualnych środowisk. Najlepiej wypadł Parallels, który osiągnął 42,3% możliwości hosta. VirtualBox był drugi na 31,5%; Fuzja zajęła trzecie miejsce z wynikiem 25,4%.
Wybór ostatecznego zwycięzcy jest czymś, co pozostawimy użytkownikowi końcowemu. Każdy produkt ma swoje plusy i minusy, aw wielu przypadkach numery referencyjne są tak bliskie, że powtarzanie testów może zmienić wyniki.
Wyniki benchmarków testowych pokazują, że uniwersalność możliwości korzystania z natywnej karty graficznej sprawia, że środowisko wirtualne wraca z zastępowania dedykowanego komputera PC. Biorąc to pod uwagę, bardziej nowoczesna karta graficzna, niż tutaj mamy, może przynieść lepsze wyniki w teście cieniowania, zwłaszcza w przypadku Fusion, którego twórca sugeruje lepsze karty graficzne dla najlepszych rezultatów.
Zauważysz, że niektóre kombinacje testów (środowisko wirtualne, wersja systemu Windows i test porównawczy) wyświetlają problemy, albo nierealistyczne wyniki, albo nieudane wykonanie testu. Tego typu wyniki nie powinny być używane jako wskaźniki problemów ze środowiskiem wirtualnym. Testy porównawcze to nietypowe aplikacje, które próbują uruchomić w środowisku wirtualnym. Są zaprojektowane do mierzenia wydajności fizycznych urządzeń, do których wirtualne środowisko może nie mieć dostępu. Nie jest to porażka środowiska wirtualnego, a w rzeczywistym świecie nie mieliśmy problemów z ogromną większością aplikacji Windows działających w systemie wirtualnym.
Wszystkie testowane środowiska wirtualne (Parallels Desktop for Mac 5.0, VMWare Fusion 3.0 i Sun VirtualBox 3.0) zapewniają dobrą wydajność i stabilność w codziennym użytkowaniu i powinny być w stanie służyć jako podstawowe środowisko Windows dla większości codziennych zadań Aplikacje.
