Recognition: AI w wyszukiwaniu zbiorów Tate

Standardowe przeszukiwanie zbiorów muzealnych czy baz zdjęć archiwalnych za pomocą słów kluczowych posiada przynajmniej jedną istotną wadę: aby odkryć szukany obiekt, musi być on opisany przez kuratorów w sposób zbliżony do opisu, który zaproponuje wyszukujący. Po stronie instytucji prace nad językiem opisu bywają zaawansowane i ich rezultatem są rozmaite indeksy, słowniki kontrolowane oraz tezaurusy. Użytkownik z zewnątrz nie ma takiego wsparcia.

A gdyby tak uniezależnić się od tej niesprawiedliwej relacji między wyszukującymi a opisującymi? Systemy rozpoznawania treści materiałów wizualnych mają pozwalać na ominięcie w wyszukiwaniu języka naturalnego i regulujących go specjalistycznych słowników metadanych i dzięki przetwarzaniu treści skanów na obiekty informatyczne umożliwiać nowy sposób wyszukiwania. Żeby zrozumieć, jak może to działać, warto odwiedzić stronę projektu Recognition, opracowanego dla Tate. Uwaga: strona Recognition nie pozwala już na samodzielne eksperymenty z wyszukiwaniem.

Recognition wykorzystuje cztery metody rozpoznawania treści obrazów:

  • rozpoznawanie konkretnych obiektów, tak na podstawie ich wcześniej zdefiniowanych cech jak i cech rozpoznanych dzięki procesom uczenia maszynowego
  • rozpoznawanie twarzy pozwalające na identyfikowanie wieku, płci i stanów emocjonalnych
  • rozpoznawanie kompozycji: układu i relacji między obiektami, jasności, kolorów itp.
  • rozpoznawanie kontekstu poprzez analizę tytułu dzieła, daty powstania i innych metadanych opisowych

Do systemu Recognition wysyłane są współczesne zdjęcia, które stają się podstawą wyszukiwania w zbiorach malarstwa. Zamiast chaotycznie wybranych i powiązanych ze sobą słów kluczowych system otrzymuje automatycznie wygenerowany zestaw właściwości i szuka w bazie reprodukcji, które byłyby opisane w możliwie podobny sposób: zawierały obiekty o zbliżonych właściwościach, wspólny kontekst, kompozycję czy wizerunki twarzy charakteryzujące osoby w tym samym wieku lub ujawniające te same nastroje.

Na tej przykładowej stronie zobaczyć można mechanizm działania tego oprogramowania. Zaznaczono nawet rozpoznane automatycznie obiekty:

Widać tu od razu ograniczenia w interpretowaniu treści obrazów przez Recognition. Chociaż bot miał do dyspozycji opisy merytoryczne obu obiektów, tym razem z jakiegoś powodu nie uwzględnił ich w profilowaniu wyniku: Kubańczycy cieszący się ze śmierci Fidela Castro nie mają przecież nic wspólnego z poważną, jeśli nie smutną sceną szkolną. Warto jednak zwrócić uwagę, że celem wyszukiwania nie było znalezienie podobnego merytorycznie zdjęcia, ale wyszukanie w zbiorach Tate dzieła zbliżonego kompozycją czy emocjami. Lepiej widać ten efekt na tym przykładzie, gdzie program połączył dwa materiały wizualne także dzięki wspólnym tagom:

Recognition jako metoda wyszukiwania nie została wdrożona na stałe na stronach Tate. W raporcie We Are Museums Trendbook 2016 znajduje się rozdział poświęcony temu eksperymentowi. Z lektury tekstu wynika, że nawet dla tak zaawansowanej cyfrowo i bogatej instytucji jak Tate rozwiązania AI mają wciąż status eksperymentu i nie są proponowane dla odbiorców i zwiedzających.

Udostępnij na na Twitterze | Udostępnij na Facebooku

Przeczytaj także

Newsletter bezpieczny dla Twojego adresu email dostarcza tinyletter.com. Dowiedz się więcej