架構導致難測試

感謝 John 提供了一個有 Bug 的公共網站。

該網站的的網址參數公式為 版區=x&項目=y

版區代表新聞稿、Q&A…等。但有趣的是 y 是連號,所以原本正確的組合是

版區=x1&項目=y1
版區=x2&項目=y2

但若敲成

版區=x1&項目=y2

則 x1 版區出現了 y2 訊息,換句話說新聞稿發布了 Q&A。

就這回應方式的表面看起來,似乎是整個訊息通用一個 table,每一則資訊帶一個流水號。或許有 flag 可以辨認版區,但呈現時沒有參考該 flag。

我們一般自動化測試時,簡單的做法是輸入某個值,要求得到某個值。故意的錯誤輸入要有個固定的重導,這些都很容易驗證。但這兩個測試在這個案例可能都會過,除非 Data Bind 給一整個序列,然後知道某些值是對的,其他都是錯的。
感覺起來要靠內容驗證,很難自動化。要人去看才發現誤植

John:像這種案例,我們在Test plan裡面會請QA測參數。其實這用測試資料就可以試出來。我們的QA只要一看到網址傳值都會想這樣測…專業的QA…
我:所以會變成手動測試

若請 Dev 兼做 QA,可能會少掉很多本能的測試…

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 變更 )

Twitter picture

You are commenting using your Twitter account. Log Out / 變更 )

Facebook照片

You are commenting using your Facebook account. Log Out / 變更 )

Google+ photo

You are commenting using your Google+ account. Log Out / 變更 )

連結到 %s

%d 位部落客按了讚: