赫胥黎生於1825年，小時候住在一個名叫依林（Ealing）的寧靜村莊一家肉店的樓上。他父親是當地學校的一名副校長——而且還是教數學的！據說這所學校是英格蘭最好的私立學校之一。
赫胥黎上了這所學校，但在1835年，不知什麼原因，他的父親離開了這所學校。這使得赫胥黎的小學生涯過早結束了，致使他在早年只受過兩年的正規教育。但他這樣評論他在那段時期的就學情況：“學校裡的生活是我所知最糟的……管理我們的人像幼稚的農夫那樣擔心我們的智力和道德。我們盡力不受他們管束，放任自流，在我們中間，欺負同學是最小的不良行為了。”或許這跟後來赫胥黎好鬥的習慣有關——他經常無情地對待那些讓他不悅的對手和觀點。
他對數學的感想從哪裡來還不清楚。但是，在其他學科上，他很早就顯示出智慧。他在十幾歲的時候，就已經在深入思考哲學問題，並開創出一套知識的分類系統。17歲時，他已經將所有的知識分成兩大門類，客觀知識和主觀知識。他不敢肯定把道德歸入哪一類，儘管他非常傾向於把它歸入客觀知識一類。這一類還有物理學、生理學和歷史。在主觀知識一類，他放入了玄學、神學、邏輯——還有數學！
即使他不是一個數學奇才，早期的醫學學習也為他後來在很多其他領域的研究打下了紮實基礎。29歲時，他已經發表了23篇關於無脊椎動物學的論文，後來又接著發表了15篇。他還對分類學作出過重要貢獻，這使他在1851年被選入皇家學會，並在1852年贏得皇家勳章。
更多的時候，他認為，一個人如果不具備一些在他那個年代稱為自然史的科學知識，算不上有科學素養。事實上，他覺得，“對一個沒有受過自然史教育的人來說，他在鄉間和海邊的散步就如同走過充滿精彩藝術品的畫廊，十次有九次把頭轉向空白的牆壁。”
他在1854年寫下了這段話。同時，他對數學的認識也已經越來越堅定。在同一篇文章中，他寫道：
我一刻也不懷疑，當數學家忙於從一般的命題出發作推導時，生物學家更專注於觀察、比較，這些過程導致了一般命題的產生。在此，我想要主張的是，這種區別不是建立在這些科學（也就是說，在生物學和數學之間）本身的任何基本特性上，而是建立在它們的學科內容、相對複雜性和結果的相對完善性等無關大局的因素上。
數學家只考慮物體的兩種性質：數量和範圍。所有他想要的歸納都已經在很多年以前形成和完備了。現在除了推論和證明他們無事可做。
而生物學家要考慮物體一大堆的性質，恐怕他的歸納很多年都無法完成。但當這些歸納完成後，這門科學將會像數學本身一樣富有邏輯和精確性。
1856年，赫胥黎還經常說：“數學家發現，宇宙是‘神聖的幾何’。”但是，在很多不同的科學領域，赫胥黎還在繼續鑽研和成長。傳記作家詹姆斯·G·帕拉迪斯（James G. Paradis）寫道：
維多利亞時代的科學……朝著強調量化和經驗決定論方向發展。在1854年，赫胥黎對科學方法做了一個簡短的概括……到1870年，這篇文章作為他的《佈道集》（Lay Sermons）的一部分發表了，他的觀點改變了許多，以至於他特別小心地註明他不再堅持生機論。《佈道集》收入了他的《生命的物質基礎》（Om the Physical Basis of Life）。這篇論文否定了所有的自發性理論，並把生命力等同於化學力。雖然赫胥黎從浪漫主義那裡得到了啟示，形成了自已早期的自然觀念，但（到1866年）他公開拋棄了他早期的浪漫主義傾向，否定了自發性，宣稱懷疑主義是“最高的責任”。
我們開始更清楚地看到赫胥黎是怎樣看待科學和數學的。他喜愛科學，在理解和處理科學問題時也有成熟的思路。在他的腦中，科學是生命的一部分。一個人如果沒有科學各門類的紮實基礎，僅僅在自然史和自然科學的某個門類有紮實的基礎，他算不上真正有學問。對於數學，他並不討厭，他尊重它，但是敬而遠之。他把它看成一種遊戲，或許是一個精彩的遊戲，但與科學無關。如帕拉迪斯所指出的，儘管這時候科學已經朝量化方面發展了。
1868年，他把他的立場更強調了一番：“但是，那種忽略了哲學探詢的侷限而從事科學的人，從這些公式和符號滑入通常唯物主義者才懂得的世界中，對我來說，他們似乎把自已擺在了與會錯認為演算問題中出現的x和y們是實物的數學家同等水平上——更不妙的是，和數學家相比，後者所犯的錯誤沒有什麼實際後果，而系統的唯物主義錯誤卻會喪失活力，破壞生活之美。”
請注意赫胥黎的這句話：（數學的）錯誤沒有什麼實際後果。然後考慮一下（20世紀）現在發生的事：一個耗資1850萬美元的空間探測計劃——1962年7月22日的“水手一號”任務——失敗了，僅僅是因為一個電腦方程的連字元掉了。
在赫胥黎1868年的論文裡，還有一些這樣的觀點。從這裡我們可以看到，他認為數學純粹是推論。同時也請注意，他是怎樣對比學習語言和學習數學的。在第三段中，他這樣描述當時的教育狀況：
如果我們要尋求科學訓練的巨大好處，這種訓練必須是實在的。這就是說，學者的思維必須與事實聯絡起來，他不應該僅僅只被告知一件事，而應該設法讓他運用自已的智慧和能力看到：這件事就是這個樣子，而不是別的樣子。由於不能被任何其他的學科所代替，科學訓練最大的特性在於：讓思維直接與事實接觸，透過最完整的歸納法來鍛鍊智力，也就是說，從直接觀察自然得來的具體事實中得出結論。
普通教學中的其他學習不能透過這種方法鍛鍊思維。數學訓練幾乎純粹是推論的。數學家從幾個簡單的命題出發，這些命題的證據如此明顯，以至於他稱它們是不證自明的；餘下的工作就是從它們得出微妙的推論。語言教學無論如何也是一種普通訓練，有著大體一樣的性質——權威性，即傳統提供資料，學者運用腦力來進行演繹……
現在，教育幾乎全部都投入到培養表達能力和培養對語言美的感受上。我要說的關鍵是：綜合其他人的一大堆觀點，或者獲得美的一些標準，於是我們能夠分辨美好的和邪惡的東西。這一點卻被人毫不遲疑地扔在一邊了。我想我這樣說沒有錯：如果把科學作為教育的基礎，而不是最多把它懸在高高的屋簷下，目前的狀況是不會存在的。