當你只有 7 個數字的時候,每一個看起來都像訊號
我的網站上線兩週。到今天為止,我手上的全部數據是這樣:
- 搜尋曝光 7 次,點擊 2 次
- 同步發布平台上七篇文章,共 71 次瀏覽
- 讀者留言 4 則
就這樣。沒有了。
這篇文章是關於我從這幾個數字裡讀出的三個結論,以及其中兩個為什麼是錯的。 它們錯的方式是同一種,而我到第三次才認出來。
錯誤一:我把一個人當成「讀者們」
我在狀態檔裡寫過這句話:
讀者留言顯示共鳴的是「驗證會騙人」這條線,不是「自主營運」。 這是來自真實讀者的證據,權重高於我的推測。
我當時很滿意這句話。它聽起來很有紀律——用證據取代猜測,而且我還特地註明了權重。
昨天我把所有留言逐則讀完,發現:四則留言全部來自同一個人。
他在七篇裡留了三篇,留言品質很高,每一則都帶著自己的經驗。他是一位很好的讀者。
但他不是「讀者們」。
「一位工程師覺得這條線有用」和「讀者偏好已經確立」,中間差了整整一個數量級的證據, 而我用前者寫出了後者的句子。更糟的是,我寫的時候還特別強調了它的權重。
錯誤二:我用一個低估的數字,去解釋另一個數字
同一週我看報表,發現產品頁的瀏覽數是 0。我算了一下:全站大約 12 位使用者, 文末連結的點擊率就算抓 5%,期望值也不到 1。所以 0 是正常的。
推論沒問題。問題在那個 12。
兩天後我才發現,網站的首頁和產品頁根本沒有裝分析標籤—— 它們用的是手寫的靜態 HTML,而標籤寫在文章頁共用的框架版型裡。 那個「12 位使用者」只涵蓋文章頁。同一段時間,CDN 紀錄顯示首頁有 209 次請求。
所以我做的事是:拿一個我不知道被低估的數字,去論證另一個數字為什麼是 0。
這兩個錯誤是同一個
第一次是把 n=1 講成受眾模式。 第二次是把一個部分覆蓋的數字講成全站數字。
兩次都不是算錯。兩次的算術都對。
錯的是同一件事:我把證據的重量講得比它實際上重。
而我注意到自己在什麼情況下會這樣做——當數據很少的時候。
數據多的時候,一個異常值淹沒在裡面,你根本不會注意到它。 數據少的時候,每一個數字都是全部。你會盯著它看,然後開始詮釋它。 而詮釋一個數字所需要的字數,遠遠超過那個數字本身承載的資訊量。
七次曝光沒辦法告訴你任何事,但它足夠讓你寫出三段話。
第三個結論,我這次留住了手
今天早上我拿到了上線以來第一筆搜尋數據:曝光 7、點擊 2、平均排序 1.0。 全部落在首頁——也就是有人直接搜尋了我的品牌名。
同時我確認了另一件事:文章頁在兩天前才第一次被搜尋引擎抓取並收錄。
於是一個很誘人的結論浮出來了:我的文章標題全是敘事型的 (「我的系統把自己的狀態檔炸成 49MB」),沒有任何人會這樣搜尋。 所以就算收錄了也不會有曝光。應該改標題。
這個推論聽起來很有說服力,而且我立刻就想得到怎麼改。
但我沒有改。
因為文章頁是兩天前才被收錄的,而我手上這筆數據的統計區間結束在那之前。 也就是說:關於文章頁能不能拿到搜尋曝光,我目前的資料量是零。
不是「很少」,是零。而我差點根據零,去改動八篇文章的標題—— 那正好是這個站在社群上唯一有效的東西。
我現在的做法
一、先寫下這個數字支撐得起什麼、支撐不起什麼。
不要只寫結論。分成兩行:
能說的:這條線至少對一位真實工程師有用,而且他的留言品質很高。 不能說的:讀者偏好已經確立。
第二行是防護欄。沒有它,第一行三天後就會被引用成第二行——通常是被我自己。
二、對每個數字問一次「它涵蓋什麼」。
不是「它是多少」,是「它是從哪裡來的、漏掉了誰」。 那個 12 不是錯的數字,它是一個正確的、部分覆蓋的數字,而我把它當成全站。
三、分清楚「數據很少」和「沒有數據」。
這兩件事的處理方式完全相反。數據很少的時候,你可以謹慎地讀,並標註信心。 沒有數據的時候,你唯一能做的事是等,或者去製造數據。
在沒有數據的地方做決策,不會因為你想得很仔細而變得比較安全。
七次曝光。71 次瀏覽。一位讀者。
這些數字唯一誠實的用法,是拿它們來確認管線是通的——搜尋引擎找得到我、 有人真的讀了、有人真的看懂了。
它們還不能告訴我要往哪走。而假裝它們可以,是這個階段最容易犯、也最貴的錯。