Google將推動REP成為正式標準,開源robots.txt解析器

Google在7月1日宣布,將推動發展歷史長達25年的機器人排除協定(Robots Exclusion Protocol,REP)成為正式標準,同時釋出Google內部所使用的robots.txt解析器,以協助開發人員打造客製化的解析工具。

Facebook Comments
(這個頁面共進入 1 次, 今天進入 1 次)