發(fā)現(xiàn)問題

今天看到有用戶反饋，我們網(wǎng)站上的演示內(nèi)容訪問特別慢。經(jīng)過測試果然是很慢，之前都是秒開的。頁面打開后再訪問很快，切換新頁面打開又慢下來，甚至好幾秒才能打開一個頁面。

我的演示內(nèi)容全部是靜態(tài)HTML文件，通過騰訊云CDN加速。

測試直接訪問服務(wù)器上的內(nèi)容，速度很快，一切正常。然后又訪問阿里云CDN上的內(nèi)容，也正常。又試了一下七牛云，也正常。嗯，我們演示內(nèi)容同時用了三個CDN，就是怕其中一個出問題，也是為了降低成本（哪家有便宜流量包就用哪家，嘿嘿）。經(jīng)過測試，只有騰訊云CDN有問題。

于是果斷切換CDN到阿里云，保證用戶的正常訪問。

接下來就開始排查故障了。

首先排查網(wǎng)絡(luò)問題，北京電信寬帶不正常、手機移動網(wǎng)不正常、騰訊云北京區(qū)服務(wù)器遠程桌面也不正常。也讓外地朋友幫忙測試了一下，發(fā)現(xiàn)有的地區(qū)是正常的。但至少北京地區(qū)是異常的。然后排查CDN配置問題，最近沒有修改CDN配置，同樣配置另外一個CDN域名卻是正常的。然后排查源站，源站用的寶塔面板，最開始我想到的是防火墻，因為最近被攻擊的厲害，設(shè)置了一些防火墻配置。我先把對應(yīng)站的防火墻關(guān)了，不行！然后把服務(wù)器全局防火墻關(guān)了，也不行。

到這里我也是沒轍了，只能在騰訊云發(fā)工單求助了。經(jīng)過來來回回的溝通，工程師有一個關(guān)鍵回復(fù)：

這邊過濾了下日志，發(fā)現(xiàn)有一些回源到源站5秒超時的日志請求，您可以看下源站是否有負載異常問題

于是我又回來查源站。什么系統(tǒng)加固、防篡改這些關(guān)掉，也不行。我開始懷疑是騰訊云CDN不行了，在工單里威脅工程師，不行我就換阿里云了。工程師說再看看，但也沒法發(fā)現(xiàn)問題原因。陷入僵局。

再次排查發(fā)現(xiàn)端倪

打了一下午游戲，到晚上的時候，騰訊云工程師那邊也沒消息了。我又繼續(xù)排查。我ping了另一個正常的騰訊云CDN域名，發(fā)現(xiàn)和有故障的是同一臺分發(fā)服務(wù)器，那就排除騰訊云CDN區(qū)域故障。區(qū)別是兩個源站不在一個服務(wù)器上。那臺服務(wù)器十年不動一次，有問題這臺最近折騰的投點頻繁。于是進寶塔后臺看了下操作日志，發(fā)現(xiàn)了一個關(guān)鍵點，最近禁了很多IP。難道我是把騰訊云CDN的回源服務(wù)器IP給封了嗎？接著進入防火墻設(shè)置，IP黑名單里一看。果然，密密麻麻一堆。這里我也來不及仔細查看了，一鍵清空了IP黑名單。然后再測試，居然正常了。。。趕緊給工程師回復(fù)，把工單結(jié)了。

故障排除復(fù)盤

復(fù)盤一下整個過程，其實一早懷疑源站防火墻那里是對的。但是寶塔面板里關(guān)閉防火墻，并不會關(guān)閉IP黑名單，這是我沒想到的。所以錯失了解決問題的關(guān)鍵。另外就是日志真的很重要，出問題了要第一時間查日志。騰訊云工程師查日志發(fā)現(xiàn)了請求超時，我查面板日志發(fā)現(xiàn)了禁用IP。這樣很快就能對癥下藥了。