Modeluje orgány ve VR pro lékaře v IKEM. Jsme průkopníci v kombinaci s operací jater, hezky se tvoří i srdce, tvrdí Sibřina

Co se týká klinického užití pro případ jaterní chirurgie, tak zde se domníváme, že jsme zatím nejdál. Nemůžeme ale opomenout komerční produkty, kterých je spousta, ale jsou drahé. Ty však řeší medicínskou stránku zeširoka a snaží se pokrýt ve VR úplně všechno. Tím, že se nesoustředí na jednu konkrétní věc, se pak stane, že jejich produkt nevyhovuje vůbec ničemu. My se snažíme zachovat co největší minimalismus.

Jak?

Každý z doktorů má vlastní Oculus Quest headset, tipoval bych, že je to tak 8 lidí. Někteří z nich jej mají doma i v práci. Metoda je následně hrozně reprodukovatelná; jsme schopni to opakovat pořád dokola, jelikož se modely připravují jednoduše. Připravím model do aplikace, uplodaduju jej do našeho vlastního pracovního serveru a poté se do e-mailu pošle zpráva, že je hotovo. V okruhu máme zhruba kolem 20 headsetů, kam můžeme posílat data a vzdáleně to monitorovat.

K tomu bych ještě rád dodal, že doktoři opravdu nemají rádi, když mají kolem sebe mnoho asistence. S touto aplikací ale nikoho nepotřebují. Vše se nachází v prostoru malého telefonu v podobě brýlí. Celý ten proces je unikátní. A my jej dokážeme navíc opakovat několikrát za sebou, dokud je potřeba, s čímž spousta studií, které se zabývají VR a klinickou medicínou, úplně nepočítají. 

Všechny řezy u jater posbíráme a jestli znáte funkci maskování ve Photoshopu, tak v principu je to naše maskování podobné. Když těch vrstev uděláte dostatečně mnoho a vymaskujete si to, můžete skrze něj spojit všechny body do 3D objektu.

Než se dostaneme k technikáliím, rád bych to vzal popořadě a zeptal se vás, jaká byla vaše cesta k tomuto projektu. Co se týče vašeho vzdělání, směřoval jste k programování a IT již od začátku?

Studoval jsem Soukromou střední školu výpočetní techniky na Proseku, přičemž mým zaměřením byly grafické systémy. Takže jsem nejdřív chtěl dělat grafiku. Jenže potom jsme ve škole začali dělat technické kreslení, CAD a inženýrské záležitosti, během čehož mě to 3D chytlo. Rozhodl jsem se, že budu dělat třidéčko pro filmy a hry.

Takže to byl oslí můstek k vývoji počítačových her?

Přesně tak. Řekl bych, že mám dobrou prostorovou představivost a že to v tom vidím. Podobný obor jsem ale v Česku nemohl najít, tak jsem se vydal na vysokou do Anglie, což jsem vychytal, jelikož to bylo ještě hezky financováno. Po brexitu bych si nemohl dovolit platit školné půl milionu ročně. 

Zaměřil jsem se na vývoj her, byl jsem klasifikován jako technical artist, který modeluje prostředí a zároveň řeší technickou stránku her. Vždycky mě ale bavila medicína. Věděl jsem však, že nechci být praktik, jelikož na to nemám ruce. Navíc je to hrozně o biflování…

Pak ale přišel zlom, jelikož jsem skončil na magnetické rezonanci a viděl jsem, jak se ta data dělají. Všiml jsem si, že sbíráme 3D data, ale analyzujeme je ve 2D verzi. Není to žádná unikátní věc, tak to prostě funguje, ale mně se zdálo fajn to spojit s virtuální realitou. Přišlo mi, že by to mělo přidanou hodnotu. Proto jsem se snažil zjistit, kde bych mohl získat další znalosti a kdo by mě bral vážně.

A to jste ještě studoval?

Ano. Jelikož jsem promoval s dobrými výsledky a cenou za bakalářskou práci, tak jsem se rozhodl pokračovat na lepších univerzitách. Dostal jsem se na Sheffieldskou univerzitu, kde mají obor Výpočetní medicína. Jenže hned v prvním týdnu jsem si uvědomil, že to bude obtížnější, než jsem čekal. Se mnou tam totiž chodili studenti s bakalářem z podobného oboru. Probírali jsme biomechaniku svalů, kostí nebo kardiovaskulární mechaniku, což jsem předtím nestudoval.

Institut, který jsem navštěvoval, se jmenuje Insigneo a sdružuje matematiky, inženýry, doktory, výpočetní vědce pod jednou střechou a snaží se medicínu personalizovat. To znamená, že se snaží určovat diagnózu na základě specifických dat pacienta. Díky tomu jsme potom schopni vytvářet personalizované modely. Možnosti jsou nepřeberné; například když má někdo aneurysma (výduť dutého orgánu, pozn. red.) v hlavě a implementuje se mu stent (trubicová „výztužka“, pozn. red.), tak můžeme simulovat tok řečiště a zjistit, jak moc se zdravotní stav pacienta zlepšuje a jestli to pomáhá. Mimo to jsme ale mohli třeba analyzovat, kudy správně zavést katetr, aby se to povedlo.

Nakonec jsem to zdárně dodělal – má diplomka byla založena na spolupráci s nemocnicí, kdy jsem udělal jednoduchou aplikaci, jak si člověk může data z CTčka nahrát do brýlí předchozí generace. Po diplomce, kdy jsem se vracel doslova v posledním letu z Londýna do Prahy kvůli koronaviru, jsem si přivezl headset s sebou. Jenže když jsem chtěl v létě začít sbírat data, tak to nešlo, jelikož jsem byl v Česku a ne v Anglii. Proto jsem se rozhodl oslovit někoho tady. 

Moc se mi to nedařilo, přestože jsem oslovil spoustu lidí na Linkedinu, na Akademii věd České republiky i na Lékařské fakultě Univerzity Karlovy. Nikdo neodpovídal. Pak se ale najednou ozval vedoucí odboru informatiky v IKEM Petr Raška, nějak jsme se domluvili a naši spolupráci spojili.

Zde tedy vznikl nápad, že se lékaři začnou připravovat na specifické zákroky ve virtuální realitě?

Přesně, na játra a transplantační chirurgii obecně. Játra ale děláme nejvíc, i když je pravda, že tu technologii občas použijeme i na ledviny.

Četl jsem, že lékaři již virtuální realitu využívají ve formě tréninku studentů na obecných 3D orgánech. Takže mě zajímalo, jestli jste na to akorát navázal?

To upřímně nevím. Celá aplikace ale byla naprogramována úplně od nuly. Dělal jsem to celé sám simultánně s konzultacemi s panem docentem Froňkem a panem inženýrem Raškou.

Přejděme tedy ke konkrétním věcem. Mluvil jste o modelech jater a ledvin. Vysvětlil byste, jak ten proces od vytvoření modelu po trénink lékařů funguje?

Začne to tím, že se udělá vyšetření, tedy CT a popřípadě magnetická rezonance. Záleží, co chceme. Když se vyšetřují lidé s nádory, tak se magnetická rezonance pro naše účely nedělá. CT je specifické, jelikož data z něj jsou hrozně velká a zabírají místo. Není možné označit jen pár řezů, které jsou třeba, nahrají se a je hotovo. My potřebujeme data úplně všechna, hrozně detailní a ve velkém rozlišení.

Potom všechny řezy posbíráme a jestli znáte funkci maskování ve Photoshopu, tak v principu je to naše maskování podobné. Když těch vrstev uděláte dostatečně mnoho a vymaskujete si to, můžete skrze něj spojit všechny body do 3D objektu. Ale samozřejmě je to trochu komplikovanější než jen „obtahovat obrázky“.

Také je nutné eliminovat mezery, které se při skladbě širších řezů orgánů na sebe mohou tvořit. Znamená to, že bychom si museli v těch prázdných místech domýšlet, co tam je. Člověk, který zná anatomii, obvykle ví, co tam je, ale pořád zde existuje riziko možného erroru, který chceme, jak jsem uváděl, eliminovat. Naše řezy jsou proto hrozně tenké. Dohromady to ale bere hrozně moc času.

Nesnažíme se nahradit tradiční metody pomocí VR, je to jen jejich doplněk. (...) Protože v momentě, kdy máte špatná data z CT/MR, máte špatný i model. A pak je to jedno.

Zní to tak.

My ale máme speciální software a workflow, jak se to má správně dělat. Takže jsme schopni pomocí poloautomatické segmentace, tedy procesu, který vybírá data z CT a rezonance, začít orgán generovat. Řekněme, že nanášíme vrstvy. Není to ale perfektní a člověk do toho prostě musí sáhnout a opravit menší nuance. Zejména proto, abychom ty struktury měli krásné a mohli jsme je rozlišit

Při CT se také podává kontrastní látka. Víme, že se nejdříve dostane do tepen a pak do žil, přičemž my jsme schopni zaznamenávat snímky v jednotlivých fázích, kam se ten kontrast dostane. Z každého žilního systému jsme schopni dělat snímky, což znamená, že získáme různé sety dat. To všechno dáme na sebe, uděláme fúzi, vygenerujeme výsledek a uděláme 3D model.

A kdy je potřeba spojit data z CT i z magnetické rezonance?

Dám příklad. Nedávno se prováděla operace, kdy živá dárkyně darovala játra. Zde je výhoda VR v tom, že je vidět, jak postupovat a plánovat split jater pro co nejlepší optimalizaci při rekonstrukci cév, žlučovodů a podobně.

V každém segmentu musíte zachovat všechny cévní a nitrojaterní cesty systémy, aby se to dobře hojilo. Kdyby jeden z nich chyběl, mohly by přijít komplikace ve formě jaterních onemocnění. Proto je doktoři chtějí vidět. Na CT ale vidět nejsou vidět optimálně, proto se dělá magnetická rezonance. Tato data následně „vložíme“ na data z CT, aby to bylo kompletní. 

Mluvil jste o časové náročnosti, ale jak moc je tedy konkrétně časově náročné vytvořit jeden detailní model orgánu?

Když se to provádělo čistě ruční metodou, trvalo to i půl dne, aby to bylo nějak kvalitní. Ale teď jsme to schopní od konce vyšetření zpracovat do modelu ve VR zpracovat za hodinu.

Je tedy možné, že pacient dopoledne přijde do nemocnice a ještě odpoledne jde na transplantaci?

Ano, nicméně pacient většinou je, vyjma akutního selhání jater, většinou indikován už delší dobu. Rychlá vyšetření probíhají zejména u dárců jater v kritických případech, kde jsme do hodiny od konce vyšetření měli v brýlích 3D model připravený.

To je budoucnost.

Je třeba ale dodat, že takto postupujeme v mimořádných případech. Někdy se plánovat dá a někdy to musí být hned i za cenu toho, že data nejsou úplně hotová. Musím dodat, že nikdy to není úplně na sto procent; vždy se jedná o přibližnou hodnotu dat, jelikož se při CT a MRI pacient hýbe a vznikají errory z dýchání, nebo pohybu.

Nemůže být ta nedokonalost trochu i nebezpečná pro průběh následných operací? Tyto přípravy jsou ve světě prakticky jedinečné a vy jste průkopníky této metody.

Lékař musí vždy přihlédnout k tomu, že se jedná o výzkum. Nesnažíme se nahradit tradiční metody pomocí VR, je to jen jejich doplněk. Neřeknu vám, že od zítřka odložíme CT a rezonanci a pojedeme jen ve VR. Protože v momentě, kdy máte špatná data z CT/MR, máte špatný i model. A pak je to jedno. 

Radiolog vždy data zkontroluje, jak ta data vypadají. Kdyby šlo o hodně špatná data, vyšetření se udělá znova. Navíc v IKEM to není problém – se specialisty pro zobrazovací metody spolupracujeme, pomáhají nám získat co nejlepší data. 

Játra jsou naddimenzovaný orgán, k žití by vám mělo stačit jen 25 % z celkového objemu. (...) Bohužel lidé s transplantovanými játry často musí do konce života brát imunosupresivní léky.

Řekněme, že jsem člověk, který nikdy ve VR nic nehrál, natož aby se z ní učil. Dá se ovládání vašich modelů dostatečně rychle zvládnout? Je to jednoduché na pochopení?

Hlavní smysl aplikace byl ten, aby to bylo co nejvíce „blbuvzdorné“. Máte tam jen dvě tlačítka, ale samozřejmě to chce cit. Lidi například zapomínají používat zápěstí a jsou zpočátku hroznými roboty. K tomu jim vždy říkám takovou pomůcku, že mají ty modely brát tak, jako by je v reálu chtěli vzít. 

Chvíli jim to trvá, ale dneska to už doktoři ovládají skvěle. Nemůže to být složité, jelikož sami doktoři moc času nemají a je třeba, aby to bylo rychlé a fungovalo.

Mimo mezery mezi řezy, o kterých jsme se bavili, je u těch modelů nějaký další háček, který se vám nedaří vyřešit?

Vždycky je co zlepšovat. Je pravda, že ta zobrazovací technika není dokonalá, ale slovy vám neřeknu, kde přesně ty háčky jsou. Největší problém může být ten lidský, tedy že někdo model vytvoří špatně. Konkrétní příklad by mohl být například člověk, který anatomii pořádně nezná a vytváří model ručně.

Když máte před sebou zdravá játra a vysvětlím vám segmentaci, tak něco dokážete za chvíli vytvořit i vy. Problém ale je, že ta játra zdravá nejsou a je nutné najít, kde je hranice tkáně játra a kde je hranice nádoru. Dotyčný to musí znát, což znamená, že musí takových případů vidět stovky, aby to udělal správně. Záleží také na typu nádoru, které se zobrazují různě. 

Model srdce je podle mého názoru například parádní orgán pro modelování, jelikož jsou jeho stěny jasně dané, krev je dostatečně oddělená a vše se vysegmentuje. U jater, jak jsou nabité krví, to není úplně jasné, která struktura je co a musí se hrát s kontrastem. Zavedli jsme si ale vlastní postupy, abychom si to ulehčili.

Kolik těch modelů jste už vlastně vyrobili?

Momentálně desítky

A to jsou teda jen játra?

To jsou játra. K tomu byly nějaké ledviny a vím, že pro další kolegy z klinik v IKEM jsme připravovali dětské srdce, jelikož na něm byl nádor. Zkoušeli jsme také plíce. Všechno to funguje, ale zatím nemáme kapacitu na to, abychom pomáhali všem okolo. Nyní se soustředíme na jaterní chirurgii.

To jsem se chtěl právě zeptat. Jaká je budoucnost toho všeho? Co ideálně byste s aplikací chtěli dále dělat?

Já si v první řadě myslím, že ta aplikace nikdy nebude hotová. Vždy tam bude něco, co tam půjde přidat nebo zlepšit. Momentálně máme prototyp a chceme to dotáhnout do fáze, aby bylo možné naplánovat řez v játru a rovnou z toho mohli lékaři získat hodnoty objemů štěpů, které zůstanou. 

Játra jsou totiž naddimenzovaný orgán, k žití by vám mělo stačit jen 25 % z celkového objemu. Takže při transplantaci s mrtvým dárcem se jeho játra rozdělují mezi dva lidi. Bohužel lidé s transplantovanými játry často musí do konce života brát imunosupresivní léky. Každopádně docent Froněk ale zavádí inovativní postupy pro léčbu jater, a já se společně s mými kolegy snažíme mu co nejvíce práci ulehčit. 

Kdybychom se bavili o VR, tak v této oblasti byste se chtěli dostat kam?

Chtěli bychom být schopni nasimulovat všechny tyto procesy ve virtuální realitě.

Což je běh na velmi dlouhou trať…

Říkám, to nebude hotové asi nikdy. Některé nápady, které slýchám, ještě ani nejsou fyzicky možné vytvořit. Vždy bude co zlepšit. Kdyby jen o jedno procent, vždy to bude moct být lepší. 

Nově třeba máme kolaborativní prostředí, kdy já můžu sedět doma, doktoři v IKEM, další kolega v Belgii a jiný v Itálii, a dohromady se můžeme připojit do jedné virtuální místnosti s modelem, voicechatem a diskutovat najednou. To je něco jiného, než když to pouštíte v Zoomu…

Další krok je nasimulovat split jater. Na to nějaké studie jsou, ale my se to snažíme udělat tak, aby to bylo co nejrychlejší. Jdeme cestou časové efektivity a rozumného odhadu, jak spočítat objem játra, které je třeba odříznout. Někdy je to totiž složité to zjistit a jsou tam v zobrazovacích metodách velké odchylky.

Máte v hlavě ještě nějaký další koncept aplikace nebo jiného programu ve VR, který by mohl pomáhat ať už na poli klinické medicíny, tak jinde?

Budoucnost ale vidím v medicíně. Dělám ještě doktorát, kde se zabýváme taky podobnou věcí s VR, ale v ortopedii. Takže uvidíme, co přijde, až dokončím tohle.