Rozpoznawanie mowy w systemie Windows — Windows Speech Recognition

Rozpoznawanie mowy w systemie Windows

Samouczek dotyczący rozpoznawania mowy w systemie Windows w systemie Windows Vista przedstawiający zaznaczenie tekstu w programie WordPad do usunięcia.
Deweloper(zy)	Microsoft
Pierwsze wydanie	30 listopada 2006 ; 14 lat temu ( 2006-11-30 )
System operacyjny	Windows Vista i nowsze
Rodzaj	Rozpoznawanie mowy

Rozpoznawanie mowy w systemie Windows ( WSR ) to rozpoznawanie mowy opracowane przez firmę Microsoft dla systemu Windows Vista, które umożliwia sterowanie interfejsem użytkownika pulpitu za pomocą poleceń głosowych ; dyktować tekst w dokumentach elektronicznych i e - mailach ; poruszanie się po stronach internetowych ; wykonywać skróty klawiaturowe ; oraz do obsługi kursora myszy . Obsługuje niestandardowe makra do wykonywania dodatkowych lub uzupełniających zadań.

WSR to lokalnie przetwarzana platforma rozpoznawania mowy; nie opiera się na przetwarzaniu w chmurze w celu zapewnienia dokładności, dyktowania lub rozpoznawania, ale dostosowuje się do kontekstu, gramatyki, próbek mowy, sesji szkoleniowych i słownictwa. Zapewnia osobisty słownik, który umożliwia użytkownikom dołączanie lub wykluczanie słów lub wyrażeń z dyktowania oraz rejestrowanie wymowy w celu zwiększenia dokładności rozpoznawania. Obsługiwane są również niestandardowe modele językowe.

W systemie Windows Vista WSR został opracowany jako część systemu Windows, ponieważ rozpoznawanie mowy było wcześniej dostępne wyłącznie w aplikacjach, takich jak Windows Media Player . Jest obecny w systemach Windows 7 , Windows 8 , Windows 8.1 , Windows RT , Windows 10 i Windows 11 .

Historia

Microsoft był zaangażowany w badania nad rozpoznawaniem i syntezą mowy przez wiele lat przed WSR. W 1993 r. Microsoft zatrudnił Xuedong Huang z Carnegie Mellon University do kierowania pracami nad rozwojem mowy; Badania firmy doprowadziły do ​​opracowania interfejsu Speech API (SAPI) wprowadzonego w 1994 roku. Rozpoznawanie mowy było również wykorzystywane w poprzednich produktach firmy Microsoft. Office XP i Office 2003 zapewniały funkcje rozpoznawania mowy w aplikacjach Internet Explorer i Microsoft Office ; umożliwiła także ograniczoną funkcjonalność mowy w Windows 98 , Windows ME , Windows NT 4.0 i Windows 2000 . Windows XP Tablet PC Edition 2002 zawierał funkcje rozpoznawania mowy w Panelu wprowadzania na komputerze typu Tablet oraz Microsoft Plus! dla Windows XP włączone polecenia głosowe dla Windows Media Player. Jednak to wszystko wymagało zainstalowania rozpoznawania mowy jako oddzielnego komponentu; przed Windows Vista system Windows nie zawierał zintegrowanego ani rozbudowanego rozpoznawania mowy. Office 2007 i nowsze wersje opierają się na usługach rozpoznawania mowy WSR.

Windows Vista

Prototypowy kreator Aero do rozpoznawania mowy w systemie Windows Vista (wtedy znany jako „Longhorn”) w wersji 4093 .

Podczas WinHEC 2002 Microsoft ogłosił, że system Windows Vista (o nazwie kodowej „Longhorn”) będzie zawierał udoskonalenia w zakresie rozpoznawania mowy oraz takie funkcje, jak obsługa macierzy mikrofonów w ramach „zapewnienia infrastruktury audio o stałej jakości dla naturalnego (ciągłego) rozpoznawania mowy i ( dyskretne) dowodzenie i kontrola." Bill Gates stwierdził podczas PDC 2003, że Microsoft „wbuduje w system funkcje mowy — duży postęp w porównaniu z Longhornem, zarówno pod względem rozpoznawania, jak i syntezy w czasie rzeczywistym”; a kompilacje przedpremierowe podczas opracowywania systemu Windows Vista zawierały aparat mowy z funkcjami szkoleniowymi. W prezentacji programisty PDC 2003 stwierdzono, że system Windows Vista będzie zawierał również interfejs użytkownika do informacji zwrotnych i sterowania mikrofonem oraz funkcje konfiguracji i szkolenia użytkowników. Firma Microsoft wyjaśniła, w jakim stopniu rozpoznawanie mowy będzie zintegrowane, stwierdzając w przedpremierowym zestawie programistycznym, że „typowe scenariusze mowy, takie jak menu i przyciski obsługujące mowę, zostaną włączone w całym systemie”.

Podczas WinHEC 2004 Microsoft uwzględnił WSR jako część strategii poprawy wydajności komputerów przenośnych. Firma Microsoft później położyła nacisk na dostępność , nowe scenariusze mobilności, obsługę dodatkowych języków i ulepszenia obsługi mowy w WinHEC 2005. W przeciwieństwie do obsługi mowy zawartej w systemie Windows XP, który został zintegrowany z Panelem wprowadzania na komputerze typu Tablet i wymagał przełączania między oddzielnymi poleceniami i Tryby dyktowania, Windows Vista wprowadziłby dedykowany interfejs do wprowadzania mowy na pulpicie i ujednolicił oddzielne tryby mowy; poprzednio użytkownicy nie mogli wypowiedzieć polecenia po dyktowaniu lub odwrotnie bez uprzedniego przełączenia się między tymi dwoma trybami. Windows Vista Beta 1 zawierał zintegrowane rozpoznawanie mowy. Aby zachęcić pracowników firmy do analizowania WSR pod kątem usterek oprogramowania i przekazywania opinii, Microsoft zaoferował swoim testerom możliwość wygrania modelu Premium konsoli Xbox 360 .

Podczas demonstracji przeprowadzonej przez firmę Microsoft w dniu 27 lipca 2006 r. — przed wprowadzeniem systemu Windows Vista do produkcji (RTM) — miał miejsce godny uwagi incydent związany z WSR, który spowodował niezamierzone wyświetlenie komunikatu „Droga ciociu, ustawmy tak podwójnie zabójcze usuwanie zaznacz wszystko”, gdy kilka próby dyktowania prowadziły do ​​kolejnych błędów wyjściowych; incydent był przedmiotem znaczącej drwiny wśród analityków i dziennikarzy na widowni, mimo że kolejny pokaz dotyczący zarządzania aplikacjami i nawigacji zakończył się sukcesem. Microsoft ujawnił, że te problemy były spowodowane usterką wzmocnienia dźwięku, która powodowała, że ​​aparat rozpoznawania zniekształcał polecenia i dyktanda; usterka została naprawiona przed wydaniem systemu Windows Vista.

Raporty z początku 2007 r. wskazywały, że WSR jest podatny na ataki wykorzystujące rozpoznawanie mowy do złośliwych operacji poprzez odtwarzanie niektórych poleceń audio przez głośniki celu; była to pierwsza luka wykryta po powszechnej dostępności systemu Windows Vista . Microsoft stwierdził, że chociaż taki atak jest teoretycznie możliwy, szereg czynników łagodzących i warunków wstępnych ograniczy jego skuteczność lub całkowicie go uniemożliwi: cel musiałby być aktywny i skonfigurowany do prawidłowej interpretacji takich poleceń; mikrofony i głośniki musiałyby być włączone i mieć wystarczający poziom głośności; a atak wymagałby od komputera wykonania widocznych operacji i wygenerowania słyszalnych informacji zwrotnych bez zauważenia przez użytkowników. Kontrola konta użytkownika uniemożliwiłaby również wykonywanie operacji uprzywilejowanych.

System Windows 7

Notatnik dyktowania w systemie Windows 7 zastępuje opcję „włącz dyktowanie wszędzie” w systemie Windows Vista.

WSR został zaktualizowany, aby korzystać z Microsoft UI Automation, a jego silnik korzysta teraz ze stosu audio WASAPI , znacznie zwiększając jego wydajność i umożliwiając obsługę usuwania echa . Narzędzie do pozyskiwania dokumentów, które może analizować i zbierać tekst w wiadomościach e-mail i dokumentach w celu kontekstualizacji terminów użytkownika, poprawiło wydajność i teraz działa okresowo w tle, a nie tylko po uruchomieniu aparatu rozpoznawania. Poprawiono również wydajność trybu uśpienia, a w celu rozwiązania problemów związanych z bezpieczeństwem aparat rozpoznawania jest domyślnie wyłączany po tym, jak użytkownicy powiedzą „przestań nasłuchiwać”, zamiast zostać zawieszonym. W systemie Windows 7 wprowadzono również opcję przesyłania danych szkolenia mowy do firmy Microsoft w celu ulepszenia przyszłych wersji aparatu rozpoznawania.

Nowy interfejs notatnika dyktowania działa jako dokument tymczasowy, w którym użytkownicy mogą dyktować lub wpisywać tekst w celu wstawienia do aplikacji, które nie są zgodne ze strukturą usług tekstowych . Windows Vista wcześniej zapewniał dla takich aplikacji opcję „włącz dyktowanie wszędzie”.

Windows 8.x i Windows RT

WSR może być używany do sterowania interfejsem użytkownika Metro w Windows 8, Windows 8.1 i Windows RT za pomocą poleceń otwierających pasek Charms ("Naciśnij Windows C"); dyktować lub wyświetlać polecenia w aplikacjach w stylu Metro ("Naciśnij Windows Z"); do wykonywania zadań w aplikacjach (np. „Zmień na Celsjusza” w MSN Weather ); oraz aby wyświetlić wszystkie zainstalowane aplikacje wymienione na ekranie startowym („Aplikacje”).

Okna 10

WSR jest dostępny w aplikacji Ustawienia , począwszy od aktualizacji systemu Windows 10 z kwietnia 2018 r. ( wersja 1803 ); zmiana pojawiła się po raz pierwszy w Insider Preview Build 17083. Aktualizacja z kwietnia 2018 r. wprowadza również nowy skrót klawiaturowy ⊞ Win+ Ctrl+ Sdo aktywacji WSR.

Przegląd i funkcje

WSR umożliwia użytkownikowi sterowanie aplikacjami i interfejsem użytkownika pulpitu Windows za pomocą poleceń głosowych. Użytkownicy mogą dyktować tekst w dokumentach, wiadomościach e-mail i formularzach; kontrolować interfejs użytkownika systemu operacyjnego; wykonywać skróty klawiaturowe ; i przesuń kursor myszy . Większość zintegrowanych aplikacji w systemie Windows Vista może być kontrolowana; aplikacje innych firm muszą obsługiwać Text Services Framework do dyktowania. Obsługiwane języki to angielski (USA) , angielski (UK) , francuski , niemiecki , japoński , chiński mandaryński i hiszpański .

Przy pierwszym uruchomieniu WSR przedstawia kreatora konfiguracji mikrofonu i opcjonalny interaktywny samouczek krok po kroku, w którym użytkownicy mogą rozpocząć naukę podstawowych poleceń, jednocześnie dostosowując aparat do swoich specyficznych cech głosu; Szacuje się, że samouczek zajmie około 10 minut. Dokładność aparatu rozpoznawania wzrasta dzięki regularnemu używaniu, które dostosowuje go do kontekstów, gramatyki, wzorców i słowników. Obsługiwane są również niestandardowe modele językowe dla określonych kontekstów, fonetyki i terminologii użytkowników w określonych dziedzinach zawodowych, takich jak prawnik lub medycyna. Dzięki Windows Search aparat rozpoznawania może również opcjonalnie zbierać tekst w dokumentach, wiadomościach e-mail, a także odręcznie napisane dane wejściowe z komputera typu tablet w celu kontekstualizacji i ujednoznacznienia terminów w celu zwiększenia dokładności; żadne informacje nie są wysyłane do firmy Microsoft.

WSR to lokalnie przetwarzana platforma rozpoznawania mowy; dokładność, dyktowanie lub rozpoznawanie nie polega na przetwarzaniu w chmurze. Profile mowy przechowujące informacje o użytkownikach są przechowywane lokalnie. Kopie zapasowe i transfery profili można wykonywać za pomocą narzędzia Łatwy transfer w systemie Windows .

Berło

Aparat rozpoznawania mowy wyświetlający informacje w różnych trybach; kolor przycisku aparatu rozpoznawania zmienia się w zależności od interakcji użytkownika.

Interfejs WSR składa się z obszaru stanu, który wyświetla instrukcje, informacje o poleceniach (np. jeśli polecenie nie jest słyszane przez aparat rozpoznawania) oraz stan aparatu rozpoznawania; miernik głosu wyświetla wizualną informację zwrotną o poziomach głośności. Obszar stanu reprezentuje aktualny stan WSR w trzech trybach, wymienionych poniżej wraz z ich znaczeniem:

• Nasłuchiwanie : aparat rozpoznawania jest aktywny i czeka na dane wejściowe użytkownika
• Uśpienie : aparat rozpoznawania nie nasłuchuje ani nie reaguje na polecenia inne niż „Rozpocznij nasłuchiwanie”
• Off : aparat rozpoznawania nie nasłuchuje ani nie odpowiada na żadne polecenia; ten tryb można włączyć, mówiąc „Przestań słuchać”

Kolory przycisku trybu odsłuchu aparatu rozpoznawania oznaczają różne tryby jego działania: niebieski podczas słuchania; niebiesko-szary podczas snu; szary po wyłączeniu; i żółty, gdy użytkownik przełącza kontekst (np. z pulpitu na pasek zadań) lub gdy polecenie głosowe jest błędnie interpretowane. W obszarze stanu można również wyświetlać niestandardowe informacje o użytkowniku w ramach makr rozpoznawania mowy systemu Windows .

Panel alternatyw wyświetlający sugestie frazy.

Panel alternatyw

Interfejs ujednoznacznienia panelu alternatywnych zawiera listę elementów interpretowanych jako istotne dla słów wypowiedzianych przez użytkownika; jeśli słowo lub fraza, które użytkownik chciał wstawić do aplikacji, znajduje się na liście wyników, użytkownik może wypowiedzieć odpowiednią liczbę słowa lub frazy w wynikach i potwierdzić ten wybór, mówiąc „OK”, aby wstawić je do aplikacji. Panel alternatyw pojawia się również podczas uruchamiania aplikacji lub wypowiadania poleceń, które odnoszą się do więcej niż jednego elementu (np. wypowiedzenie „Uruchom Internet Explorer” może wyświetlić zarówno przeglądarkę internetową, jak i oddzielną wersję z wyłączonymi dodatkami). ExactMatchOverPartialMatch wpis w rejestrze systemu Windows może ograniczyć poleceń do elementów z dokładnymi nazwami, jeśli istnieje więcej niż jedna instancja w wynikach.

Wspólne polecenia

Poniżej wymieniono typowe polecenia WSR. Słowa pisane kursywą wskazują słowo, które można zastąpić żądanym elementem (np. „kierunek” w „ kierunku przewijania ” można zastąpić słowem „w dół ”). Polecenie „Rozpocznij pisanie” umożliwia programowi WSR interpretowanie wszystkich poleceń dyktowania jako skrótów klawiaturowych.

Polecenia dyktowania: „Nowa linia”; „Nowy akapit”; "Patka"; „Dosłowne słowo ”; „ Numer liczbowy ”; „Przejdź do słowa ”; „Idź za słowem ”; "Nie ma miejsca"; "Idź na początek zdania"; „Przejdź do końca zdania”; "Idź na początek akapitu"; "Przejdź do końca akapitu"; "Przejdź do początku dokumentu" "Przejdź do końca dokumentu"; „Przejdź do nazwy pola ” (np. przejdź do adresu , DW lub tematu ). Znaki specjalne, takie jak przecinek, są podyktowane wypowiedzeniem nazwy znaku specjalnego.

Polecenia nawigacyjne:

Skróty klawiaturowe: „Naciśnij klawisz klawiatury ”; „Naciśnij ⇧ Shiftplus a”; „Naciśnij kapitał b”.

Klawisze, które można nacisnąć bez uprzedniego wydawania polecenia naciśnij to: ← Backspace, Delete, End, ↵ Enter, Home, Page Down, Page Up, i Tab ↹.

Polecenia myszy: „Kliknij”; „Kliknij to ”; "Podwójne kliknięcie"; "Kliknij dwukrotnie to "; "Ocena"; „Zaznacz to ”; „Kliknij prawym przyciskiem”; "Kliknij prawym przyciskiem myszy to "; „ Siatka myszy ”.

Polecenia zarządzania oknami: „Zamknij (alternatywnie maksymalizuj, minimalizuj lub przywracaj) okno”; "Zamknij to "; "Zamknij nazwę otwartej aplikacji "; „Przełącz aplikacje”; "Przełącz na nazwę otwartej aplikacji "; „ Kierunek przewijania ”; „ Kierunek przewijania w liczbie stron ”; "Pokaż pulpit"; „ Pokaż numery ”.

Polecenia rozpoznawania mowy: „Rozpocznij słuchanie”; „Przestań słuchać”; „Pokaż opcje mowy”; "Otwórz słownik mowy"; „Rozpoznawanie mowy w ruchu”; „Minimalizuj rozpoznawanie mowy”; „Przywróć rozpoznawanie mowy”. W języku angielskim odpowiednie polecenia można wyświetlić, mówiąc „Co mogę powiedzieć?” Użytkownicy mogą również wysyłać zapytania do aparatu rozpoznawania o zadania w systemie Windows, wypowiadając „Jak mogę nazwać zadanie ” (np. „Jak zainstalować drukarkę?”), co otwiera powiązaną dokumentację pomocy.

Polecenie MouseGrid wyświetlające siatkę liczb na pulpicie systemu Windows Vista.

Siatka myszy

MouseGrid umożliwia użytkownikom sterowanie kursorem myszy poprzez nakładanie liczb w dziewięciu regionach na ekranie; regiony te stopniowo zawężają się, gdy użytkownik wypowiada numer(y) regionu, na którym należy się skoncentrować, aż do osiągnięcia pożądanego elementu interfejsu. Użytkownicy mogą następnie wydawać polecenia, w tym „Click number of region ”, które przesuwają kursor myszy do żądanego regionu, a następnie go klikają; oraz „Zaznacz numer regionu ”, który umożliwia wybranie elementu (takiego jak ikona komputera ) w regionie, który można następnie kliknąć za pomocą poprzedniego polecenia kliknięcia . Użytkownicy mogą również wchodzić w interakcje z wieloma regionami jednocześnie.

Pokaż numery

Aplikacje i elementy interfejsu, które nie zawierają możliwych do zidentyfikowania poleceń, można nadal kontrolować, prosząc system o nałożenie na nie liczb za pomocą polecenia Pokaż liczby . Po aktywacji wypowiedzenie nałożonego numeru wybiera ten element, aby użytkownik mógł go otworzyć lub wykonać inne operacje. Pokaż numery został zaprojektowany tak, aby użytkownicy mogli wchodzić w interakcje z przedmiotami, które nie są łatwe do zidentyfikowania.

Polecenie Pokaż liczby nakładające się na liczby w Eksploratorze gier .

Dyktando

WSR umożliwia dyktowanie tekstu w aplikacjach i systemie Windows. Jeśli wystąpi błąd dyktowania, można go poprawić, wypowiadając „Popraw słowo ” lub „Popraw to”, a pojawi się panel alternatywny z sugestiami dotyczącymi korekty; sugestie te można wybrać, wypowiadając numer odpowiadający numerowi sugestii i mówiąc „OK”. Jeśli żądana pozycja nie znajduje się na liście sugestii, użytkownik może ją wypowiedzieć, aby mogła się pojawić. Alternatywnie, użytkownicy mogą mówić „Przeliteruj to” lub „Sam to przeliteruję”, aby wypowiedzieć żądane słowo litera po literze; użytkownicy mogą używać swojego alfabetu osobistego lub alfabetu fonetycznego NATO (np. „N jak w listopadzie”) podczas pisowni.

Wiele słów w zdaniu można poprawić jednocześnie (na przykład jeśli użytkownik mówi „dyktowanie”, ale aparat rozpoznawania interpretuje to słowo jako „rzecz”, użytkownik może stwierdzić „popraw rzecz”, aby poprawić oba słowa jednocześnie). W języku angielskim domyślnie rozpoznawanych jest ponad 100 000 słów.

Słownik mowy

Słownik osobisty umożliwia użytkownikom włączanie lub wyłączanie określonych słów lub wyrażeń z dyktowania. Gdy użytkownik dodaje do słownika słowo zaczynające się od wielkiej litery, może określić, czy zawsze powinno być pisane wielką literą, czy też wielkość liter zależy od kontekstu, w którym słowo jest wypowiadane. Użytkownicy mogą również nagrywać wymowy słów dodanych do słownika, aby zwiększyć dokładność rozpoznawania; zapisywane są również słowa pisane rysikiem na tablecie PC dla funkcji rozpoznawania pisma ręcznego w systemie Windows . Informacje przechowywane w słowniku są częścią profilu mowy użytkownika. Użytkownicy mogą otworzyć słownik mowy, wypowiadając polecenie „pokaż słownik mowy”.

Makra

Interfejs Kreatora Aero wyświetlający opcje tworzenia makr rozpoznawania mowy.

WSR obsługuje niestandardowe makra za pośrednictwem dodatkowej aplikacji firmy Microsoft, która umożliwia korzystanie z dodatkowych poleceń języka naturalnego . Przykładem tej funkcji jest makro poczty e-mail wydane przez firmę Microsoft, które udostępnia polecenie w języku naturalnym, w którym użytkownik może wypowiedzieć „wyślij wiadomość e-mail do kontaktu o temacie ”, co powoduje otwarcie programu Microsoft Outlook w celu utworzenia nowej wiadomości z automatycznie wstawionym wyznaczonym kontaktem i tematem. Firma Microsoft wydała również przykładowe makra do słownika mowy, programu Windows Media Player, programu Microsoft PowerPoint , syntezy mowy , przełączania między wieloma mikrofonami, dostosowywania różnych aspektów konfiguracji urządzeń audio, takich jak poziomy głośności, oraz ogólnych zapytań w języku naturalnym, takich jak jako „Jaka jest prognoza pogody?” "Która godzina?" i „Jaka jest data?” Odpowiedzi na te zapytania użytkowników są przekazywane użytkownikowi za pomocą aktywnego głosu firmy Microsoft do zamiany tekstu na mowę zainstalowanego na komputerze.

Użytkownicy i programiści mogą tworzyć własne makra na podstawie transkrypcji i podstawiania tekstu; wykonywanie aplikacji (z obsługą argumentów wiersza poleceń ); Skróty klawiszowe; emulacja istniejących poleceń głosowych; lub kombinację tych elementów. Obsługiwane są XML , JScript i VBScript . Makra można ograniczyć do określonych aplikacji, a reguły dla makr można definiować programowo. Aby makro mogło zostać załadowane, musi być przechowywane w folderze Mowy Makra w katalogu Dokumenty aktywnego użytkownika . Wszystkie makra są domyślnie podpisane cyfrowo, jeśli dostępny jest certyfikat użytkownika, aby zapewnić, że przechowywane polecenia nie są zmieniane ani ładowane przez osoby trzecie; jeśli certyfikat nie jest dostępny, administrator może go utworzyć. Konfigurowalne poziomy bezpieczeństwa mogą uniemożliwić ładowanie niepodpisanych makr; zachęcanie użytkowników do podpisywania makr po utworzeniu; i załadować niepodpisane makra.

Wydajność

Od 2017 r. WSR używa Microsoft Speech Recognizer 8.0, wersji wprowadzonej w systemie Windows Vista. W przypadku dyktowania, Mark Hachman, starszy redaktor PC World, stwierdził, że jego dokładność bez przeszkolenia wynosi 93,6% — wskaźnik, który nie jest tak dokładny, jak konkurencyjne oprogramowanie. Według firmy Microsoft wskaźnik dokładności podczas szkolenia wynosi 99%. Hachman wyraził opinię, że Microsoft nie omawia tej funkcji publicznie z powodu incydentu z 2006 roku podczas opracowywania systemu Windows Vista, w wyniku czego niewielu użytkowników wiedziało, że dokumenty mogą być dyktowane w systemie Windows przed wprowadzeniem Cortany .

Zobacz też

• Lista oprogramowania do rozpoznawania mowy
• Bezprzewodowy system telefoniczny firmy Microsoft
• Narrator Microsoft
• Polecenie głosowe Microsoft
• Nowe funkcje techniczne w systemie Windows Vista

Bibliografia

Zewnętrzne linki

• Demonstracja rozpoznawania mowy w systemie Windows Vista na spotkaniu Microsoft Financial Analyst Meeting