共同研究報告書提出

共同研究報告書

研究区分	一般研究
研究課題	深層学習を用いたナノスケール液中反応の観察手法の確立
新規・継続の別	新規
研究代表者／所属	金沢大学学術メディア創成センター
研究代表者／職名	准教授
研究代表者／氏名	勝野弘康

研究分担者／氏名／所属／職名
	氏　　名	所　　属	職　　名
1	瀧川一学	京都大学国際高等教育院	特任教授
2	木村勇気	北海道大学低温科学研究所	教授
3	山﨑智也	北海道大学低温科学研究所	特任助教

研究目的	本研究の目的は，溶液中のナノスケール現象を明瞭に可視化することで，これまで想像でしかなかった液中での物質の物理化学的な挙動を確実に捉える手法を確立し，その振る舞いの定性的，定量的評価を行うことである.透過電子顕微鏡（TEM）で液中観察が可能になったものの，現段階ではぼんやりとした不明瞭な像を取得できるのみである.今後水-氷の相転移現象の観察を行うには，より明瞭な像を取得する必要がある.本申請では，そこで必要となる教師用データセットを作成し，TEM画像改善用の機械学習模型の構築を目指す.

研究内容・成果	不明瞭な溶液中のTEM像を鮮明化するパイプライン構築のために，機械学習模型を用いた．教師有り学習を実行するためには鮮明な真空画像と同一視野の不明瞭な液中画像のデータセットが必要になる．通常の観察と同様に試料をセットすると，溶液を抜いた時に試料が動いてしまいデータセットとして使えない．そこで電子線が通過するアモルファル膜の外側に試料を置き溶液の出し入れで試料の位置関係が変わらないように対応することで良質なデータセットを作成した．また，溶液の厚さはスペーサによって変化し，機械学習模型のパラメータを増やす要因になる．さまざまな大きさのスペーサ（150nm， 500nm， 1um， 5um， 10um）を使って溶液の厚さを測定したところ，1um以下のスペーサでは溶液の厚さが数マイクロメートル程度になっていた．そのため，この範囲では溶液厚さの自由度を無視できることがわかった．ここで作ったデータセットはZenodoにて公開，訓練した学習模型パラメータはGithubにて公開している．さまざまな電子線量（1—1000 e-/nm^{2}）の不鮮明TEM画像について，機械学習模型で改善できることを確認した．ノイズに含まれる小さな粒子の再現，大きな粒子の形状復元，隣接粒子の境界の鮮明化について，鮮明な真空像と同等の結果を得ることができるようになった．これは複数の倍率（10，000×，20，000×，100，000×）で確認した．改善像の画質客観評価を行うとPSNRは29，SSIMは0.85に達した．その場観察にむけて，画像改善にかかる時間についても調査した．GPUの種類によって大きく変わるので，ローエンドモデル（価格1万円），ミドルエンドモデル（価格10万円），ハイエンドモデル（価格100万円）の3つをとりあげたところ，ミドルエンドモデルの性能があれば十分であることがわかった．これは，機械学習がGPU演算を行う時間よりもディスプレイに描画する時間のほうが長くなるためである．本研究で構築した模型をTEMカメラ制御ソフトウェアに組み込み，実際の液中その場観察で利用できることも確認した．ステージ位置を固定し，電子線量を変えながらその様子をみていると，観察像にはノイズしか映っていないような状況であっても，改善像では粒子を視認できることがわかった．このような場合，形状のような詳細情報を得るのは難しいが，結晶核の生成を判定するには十分である．また，電子線照射による水の放射線分解によって通常のTEM観察では水のpHが4程度になってしまう観察条件でも，今回の模型を使えばpHが6程度で収まる小さな電子線量で観察できる．より自然環境に近いTEM観察が可能になった．

成果となる論文・学会発表等	Hiroyasu Katsuno， Yuki Kimura， Tomoya Yamazaki and Ichigaku Takigawa， Accepted in Microsc. Microanal. プレプリント arXiv:2310.20279. H. Katsuno， Y. Kimura， T. Yamazaki and I. Takigawa， “Machine learning refinement of in situ images acquired by low electron dose LC-TEM”. Zenodo. https://doi.org/10.5281/zenodo.10042733 (2023)　（データセット公開） Hiroyasu Katsuno， Github， https://github.com/hiroyasukatsuno/Machine-learning-refinement-of-images-acquired-by-LC-TEM　（模型，模型パラメータ公開）勝野弘康，木村勇気，山﨑智也，瀧川一学，　“その場液中透過電子顕微鏡像の機械学習によるリアルタイム画像処理手法の開発:Development of in-situ imaging method using machine learning on liquid-cell transmission electron microcopy”，第5回日本地球惑星科学連合 2022大会 (日本惑星連合)， MIS14-P04，幕張メッセ(千葉)， 2023/05.