作者簡介:楊成,博士,南京久川科技有限公司總經理。 南京市高層次創業人才,江蘇省創業博士,江蘇省生物技術協會會員,江蘇省儀器儀表學會理事。筆者首先簡要總結了傳統基於光學透鏡的顯微成像技術的發展和瓶頸,介紹了解決傳統光學顯微鏡大視場與高解像度矛盾的片上顯微成像技術,重點介紹了九川科技採用的技術路線——基於超大畫素尺度垂直電荷轉移成像晶元的片上投影顯微成像以及超小畫素尺寸,我們稱之為無透鏡晶元的數字顯微鏡技術。筆者試圖從原理的角度介紹相關技術的來龍去脈,其自知能力有限,偏見和疏忽在所難免,請批評指正。
傳統光學顯微鏡正在蓬勃發展
隨著光學成像技術的發展,人類對微觀世界的探索從未停止過。 自2024年代發明以來,傳統光學顯微鏡作為顯微觀察的核心工具已有400多年的歷史,至今仍廣泛應用於生物學研究和醫學診斷[2]。
在過去的幾百年裡,無數的研究人員和工程師在顯微鏡的結構設計和鏡頭的製作工藝上做出了不懈的努力,特別是在上個世紀,顯微鏡的成像解像度和成像質量有了很大的提高,在顯微成像技術方面出現了許多重大成就。
例如,荷蘭物理學家Zernike在上世紀30年代提出的相差顯微鏡方法[3][4],其關鍵技術是在物鏡的後焦平面上增加乙個相位環,同時在照明聚光鏡上增加乙個環形光闌,使被照射的透射光和樣品的散射光相互干涉, 使被照光穿過樣品時產生的相位差變化轉化為光強的變化,從而獲得樣品的相位資訊,創造性地提高顯微鏡對透明樣品的對比度[5],正是因為這一重大突破,澤尼克獲得了2024年的諾貝爾物理學獎。
2024年,在澤尼克獲獎四年後,美國科學家馬文·明斯基(Marvin Minsky)發表了一種名為共聚焦顯微鏡的新技術[6],該技術通過使用點照明和點探測器共軛,利用針孔過濾掉非焦平面和非焦平面區域的雜散光干擾,從而實現了更清晰的顯微鏡[7][8]。
後來,隨著高效能光源技術、成像晶元和計算能力的大幅提公升,出現了利用螢光突破阿貝衍射極限的超分辨顯微成像技術,如隨機光學重建顯微鏡(STORM)[9]和基於螢光單分子定位定位顯微鏡原理的光敏定位顯微鏡,掌[10][11]。一種是基於點擴散函式原理的受激發射耗盡顯微鏡(STED)[12]和基態耗散顯微鏡(GSD)[13]。 這兩種方法都需要專門的螢光分子,這在一定程度上限制了這些技術手段的應用。 此外,還有一種稱為結構照明顯微鏡(SIM)[14][15]的顯微鏡,它利用“摩爾紋條紋”的拍頻原理,用結構光照射樣品,將樣品的高頻資訊編碼成低頻的“摩爾條紋”,然後通過後資料處理和演算法進行重構。 結構光照明方法不需要特定的螢光分子,但系統的解像度最多只能超過衍射極限一次。
雖然傳統光學顯微鏡的成像能力已經達到了非常高的水平,但成像機理並沒有突破,並且一直受到光學系統空間頻寬積(SBP)的限制[16]。 空間頻寬積表示光學系統可以傳輸的資訊量,“空間”可以理解為光學系統可以觀察到的視野,而“頻寬”表示光學系統的解像度,即區分被觀察物體細節的能力[17]。
因此,傳統光學顯微鏡的大視場和高解像度之間一直存在著內在的矛盾,放大倍率越大,可以觀察到的目標細節越清晰,但可以看到的視場越小。
在過去的幾十年裡,在傳統的光學顯微鏡中,要實現亞微公尺級的高解像度和厘公尺級的大視場是極其困難的。
然而,在許多臨床醫學診斷中,例如腫瘤病理組織切片的診斷,必須結合高解像度和大視場[18][19]。 現有的實現方案是在傳統光學顯微鏡的基礎上,增加高精度機械掃瞄臺和CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)進行影象採集,通過高精度連續移動樣品,將視場下的數百張高解像度影象拼接成全場顯微影象[20][21]。
然而,這種顯微鏡成像系統不僅複雜、昂貴,而且耗時長且無法動態成像,限制了高階顯微鏡的大規模推廣和使用。
無透鏡片上顯微鏡的興起
為了實現大空間頻寬產品的顯微成像,無透鏡片上顯微鏡技術在過去十幾年中開始興起,並逐漸發展成為傳統光學顯微鏡的有力競爭者。 由於其解耦的成像視場和解像度,以及系統結構簡單,無需任何光學鏡頭即可同時實現大視場和高解像度,具有成本低、小型化、便攜等優點,可以大大彌補現有傳統光學顯微鏡的缺點[22]。
無透鏡片上顯微鏡是一種使用CCD或CMOS影象感測器記錄樣品的投影或照明源的散射光和背景光的干涉圖案的技術,無需任何光學透鏡[24][25]。 根據樣品與影象感測器晶元之間的距離,無明場透鏡片上顯微鏡技術通常可分為兩大類:(1)片上投影顯微鏡和(2)衍射顯微鏡[23]。
圖11 (a) 片上投影顯微鏡技術結構示意圖 (b) 衍射顯微鏡技術結構示意圖。
在衍射顯微鏡系統中,影象感測器晶元記錄來自樣品的散射光和非散射背景光的干涉圖案,然後對目標的顯微影象進行數位化處理和重建。
衍射顯微鏡的本質是數字同軸全息的原理[40][41],它使用影象感測器來記錄全息圖,因為影象感測器晶元只能記錄強度資訊,而無法獲得相位資訊。 因此,衍射片上顯微鏡的關鍵是相位恢復,它利用收集到的強度資訊來恢復樣品的相位資訊[44]-[45][46][47][48]。
最經典的相位恢復演算法是Gerchberg-Saxton(G-S)演算法[49],該演算法使用記錄的強度資訊作為波前復函式中的振幅,然後在波前復函式中設定初始相位,並利用角譜傳播理論[50][51]將像平面復振幅傳播回物平面, 然後利用物體表面的約束或復振幅的閾值傳播回像平面,通過反覆傳播和迭代得到高訊雜比樣品的影象[52][53][54]。
國外具有代表性的衍射片上顯微技術研究團隊是加州大學洛杉磯分校的Aydogan Ozcan教授團隊,國內最具代表性的團隊是南京理工大學左超教授的團隊,他們對整個衍射片上顯微技術的發展起到了非常重要的推動作用。 讀者可以自行閱讀其相關研究成果。
投影顯微鏡是最簡單的無透鏡片上顯微鏡技術,關鍵是要盡可能減小樣品與影象感測器晶元之間的距離(理想情況下小於1微公尺為佳),這樣照明光源穿過樣品後的光學衍射可以忽略不計,影象感測器晶元直接記錄樣品的二維投影,無需任何影象重建步驟。
圖1圖1(a)示出了投影顯微鏡成像系統的硬體原理圖,樣品靠近影象感測器晶元的表面,樣品正上方的光源為普通LED(發光二極體)光源。
由於投影是直接通過影象感測器晶元記錄的,因此根據奈奎斯特取樣定理[26],系統的解像度直接由影象感測器單個畫素的物理尺寸決定,視場是整個影象感測器晶元的受光面。 此外,應盡可能減小樣品與晶元之間的距離,消除樣品光學衍射的影響。
投影顯微鏡技術的解像度受到所用影象感測器晶元單個畫素的物理尺寸的限制,因此在近十幾年來,投影顯微鏡技術的發展一直伴隨著影象感測器晶元的發展。
早期的Lange等人實現了一種用於線蟲研究的小型化微流控投影成像裝置,其中攜帶線蟲的樣品腔直接放置在單色成像晶元上,所用成像晶元的畫素尺寸在10微公尺以上,畫素數僅為320 240,這種早期系統非常小巧新穎, 但由於其解像度超過10微公尺,其應用存在許多侷限性[28],如圖1所示顯示 2 個。
圖12 Lange等人的小型化微流控投影成像裝置和用於線蟲研究的成像結果[28]。
這個早期的系統非常小且新穎,但由於其解像度超過10微公尺,使用相同的思路,Ozcan等人提出了Lucas(Lensfree Ultra-Wide0Field Cell Monitoring Array Platform Based on Shadow Imaging)該系統通過記錄晶元表面細胞的不同投影來對不同型別的細胞進行計數和分類, 雖然 3725mm×25.觀察到 7 mm 的大視場,但系統的空間解像度也受到成像感測器在 9 m 處的畫素尺寸的限制 [29],如圖 1 所示三、
圖13 Ozcan等人提出了一種用於細胞盧卡斯的片上監測系統[29]。
研究人員開始嘗試各種方法突破畫素大小對解像度的限制,Heng等人提出的光流控顯微鏡(OFM)擴充套件了成像過程的時間維度,通過在CMOS成像晶元表面製作乙個傾斜的亞微公尺金屬孔陣列,金屬孔位於畫素的中間, 然後將裝載線蟲的微流控腔放置在表面上,線蟲流動後,晶元記錄線蟲通過孔的投影圖像,從而使整個器件的解像度由孔的大小和孔的間距決定。
OFM方法已將投影顯微鏡的解像度提高到亞微公尺級,但在大規模應用中存在一些挑戰,例如流動過程中樣品的旋轉和流速的均勻性,這將影響最終重建的質量[30][31][32]。
在此基礎上,得益於Zheng等人提出的畫素超解像度方法,實現了亞畫素解像度的亞畫素解像度光流控顯微鏡(SROFM),解像度提高到075 μm [33][34],與早期的OFM相比,SPOFM不再需要小孔陣列,而是通過樣品在微流控腔中的流動產生亞畫素位移,然後通過演算法將這些低解像度影象重建為高解像度影象。
隨著消費電子市場的發展,對所用CMOS影象感測器晶元的效能有了提公升,Lee等人開發了一種基於手機晶元投影顯微鏡原理的手持式顯微鏡,通過多角度照明實現了亞畫素解像度[35]。
近年來,隨著CMOS工藝節點的不斷縮小,單個畫素的尺寸一直在減小,但自2024年以來,由於CMOS影象感測器的單個畫素中包含大量電晶體,因此減小畫素尺寸變得非常困難,CMOS影象感測器的單個畫素尺寸一直徘徊在1m左右[36][37][38], 同時,CMOS影象感測器的影象訊雜比也會隨著畫素尺寸的減小而急劇下降[39]。
久川科技:無透鏡晶元數字顯微成像技術
久川科技採用投影片上顯微成像的技術路線,我們稱之為無透鏡晶元數字顯微技術。
從上文可以看出,無透鏡感測器數字顯微技術最依賴所使用的影象感測器晶元的單畫素尺寸,這要歸功於久川科技採用的垂直電荷轉移成像晶元,該晶元採用了新的畫素結構,在保持影象優異訊雜比的同時,可以大大減小畫素尺寸。
我們採用6億畫素和500nm畫素尺寸的成像晶元,可實現單視場150mm2、解像度500nm畫素的顯微成像。 在後續文章中,我們還將進一步介紹和展示九川科技的相關產品和應用成果,敬請期待。
引用。 1] baeg k j, binda m, natali d, et al. organic light detectors: photodiodes and phototransistors[j]. advanced materials, 2013, 25(31): 4267-4295.
2] z. grcs and a. ozcan. on-chip biomedical imaging. ieee reviews in biomedical engineering, 6:29–46, 2013.
3] zernike, f. how i discovered phase contrast[j]. science, 1955, 121(3141):345-349.
4] zernike f. phase contrast, a new method for the microscopic observation of transparent objects part ii[j]. physica, 1942, 9(10):974-986.
5] zernike f. phase contrast[j]. tech. physik., 1935, 16: 454.
6] minsky m. microscopy apparatus us patent 3013467[m], 1961.
7] confocal and two-photon microscopy: foundations, applications, and advances[m]. new york: wiley-liss, 2002.
8] handbook of biological confocal microscopy[m]. springer science & business media, 2010.
9] rust m j, bates m, zhuang x. sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (storm)[j]. nature methods, 2006, 3(10): 793.
10] hess s t, girirajan t p k, mason m d. ultra-high resolution imaging by fluorescence photoactivation localization microscopy[j]. biophysical journal, 2006, 91(11): 4258-4272.
11] betzig e, patterson g h, sougrat r, et al. imaging intracellular fluorescent proteins at nanometer resolution[j]. science, 2006, 313(5793): 1642-1645.
12] hell s w, wichmann j. breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[j]. optics letters, 1994, 19(11): 780-782.
13] hell s w, kroug m. ground-state-depletion fluorscence microscopy: a concept for breaking the diffraction resolution limit[j]. applied physics b, 1995, 60(5): 495-497.
14] heintzmann r, cremer c g. laterally modulated excitation microscopy: improvement of resolution by using a diffraction grating[c]//optical biopsies and microscopic techniques iii. international society for optics and photonics, 1999, 3568: 185-196.
15] gustafsson m g l. surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[j]. journal of microscopy, 2000, 198(2): 82-87.
16] lohmann a w, dorsch r g, mendlovic d, et al. space–bandwidth product of optical signals and systems[j]. josa a, 1996, 13(3): 470-473.
17] greenbaum a, luo w, khademhosseinieh b, et al. increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy[j]. scientific reports, 2013, 3: 1717.
18] maricq h r, leroy e c. patterns of finger capillary abnormalities in connective tissue disease by “wide‐field” microscopy[j]. arthritis & rheumatism, 1973, 16(5): 619-628.
19] huisman a, looijen a, van den brink s m, et al. creation of a fully digital pathology slide archive by high-volume tissue slide scanning[j]. human pathology, 2010, 41(5): 751-757.
20] ma b, zimmermann t, rohde m, et al. use of autostitch for automatic stitching of microscope images[j]. micron, 2007, 38(5): 492-499.
21] yang f, deng z s, fan q h. a method for fast automated microscope image stitching[j]. micron, 2013, 48: 17-25.
22] kim s b, bae h, koo k, et al. lens-free imaging for biological applications[j]. journal of laboratory automation, 2012, 17(1): 43-49.
23] zhu h, isikman s o, mudanyali o, et al. optical imaging techniques for point-of-care diagnostics[j]. lab on a chip, 2013, 13(1): 51-67.
24] göröcs z, ozcan a. on-chip biomedical imaging[j]. ieee reviews in biomedical engineering, 2012, 6: 29-46.
25] ozcan a, mcleod e. lensless imaging and sensing[j]. annual review of biomedical engineering, 2016, 18: 77-102.
26] shannon c e. communication in the presence of noise[j]. proceedings of the ire, 1949, 37(1): 10-21.
27] ozcan a, demirci u. ultra wide-field lens-free monitoring of cells on-chip[j]. lab on a chip, 2008, 8(1): 98-106.
28] lange d, storment c w, conley c a, et al. a microfluidic shadow imaging system for the study of the nematode caenorhabditis elegans in space[j]. sensors and actuators b: chemical, 2005, 107(2): 904-914.
29] ozcan a, demirci u. ultra wide-field lens-free monitoring of cells on-chip[j]. lab on a chip, 2008, 8(1): 98-106.
30] heng x, erickson d, baugh l r, et al. optofluidic microscopy—a method for implementing a high resolution optical microscope on a chip[j]. lab on a chip, 2006, 6(10): 1274-1276.
31] cui x, lee l m, heng x, et al. lensless high-resolution on-chip optofluidic microscopes for caenorhabditis elegans and cell imaging[j]. proceedings of the national academy of sciences, 2008, 105(31): 10670-10675.
32] pang s, cui x, demodena j, et al. implementation of a color-capable optofluidic microscope on a rgb cmos color sensor chip substrate[j]. lab on a chip, 2010, 10(4): 411-414.
33] zheng g, lee s a, yang s, et al. sub-pixel resolving optofluidic microscope for on-chip cell imaging[j]. lab on a chip, 2010, 10(22): 3125-3129.
34] lee s a, zheng g, yang s, et al. color-capable sub-pixel resolving optofluidic microscope for on-chip cell imaging[c]//ieee winter topicals 2011. ieee, 2011: 93-94.
35] lee s a, yang c. a smartphone-based chip-scale microscope using ambient illumination[j]. lab on a chip, 2014, 14(16): 3056-3063.
36] agranov g, mauritzson r, ladd j, et al. pixel continues to shrink...pixel development for novel cmos image sensors[c]//international image sensor workshop. 2009: 69-72.
37] fossum e r, hondongwa d b. a review of the pinned photodiode for ccd and cmos image sensors[j]. ieee journal of the electron devices society, 2014.
38] ahn j c, lee k, kim y, et al. 7.1 a 1/4-inch 8mpixel cmos image sensor with 3d backside-illuminated 1.12 μm pixel with front-side deep-trench isolation and vertical transfer gate[c]//2014 ieee international solid-state circuits conference digest of technical **s (isscc). ieee, 2014: 124-125.
39] ahn j c, moon c r, kim b, et al. advanced image sensor technology for pixel scaling down toward 1.0 µm[c]//2008 ieee international electron devices meeting. ieee, 2008: 1-4.