在股票交易、醫療決策等領域， 越來越多的人工智慧應用取代了人類去做最終的決策判斷。 但是這些人工智慧演算法只是在它被訓練的特定資料集上表現良好， 而且在很多實例中， 我們會在這些演算法中人為地添加很多與人類主觀經驗相關的偏置值。 在保釋批准、貸款批准這類風險評估模型中， 各種偏置值帶來的影響尤其明顯。 在這類模型中考慮申請人種族的影響顯然是不合法的， 但是演算法可能會根據申請人的受教育情況或者家庭住址進行關聯分析， 產生對應的種族偏置影響。
來自美國康奈爾大學的博士研究生薩拉·譚教授評論， 如果演算法公司不願公開演算法運行的詳細過程， 那麼採用類似于本文中的模型研究是弄清演算法運行原理的一個合理方法。