Maksim H. Tien Product Mgr. of Ringline Corp. 垃圾郵件知多少? Maksim H. Tien 　　 Product Mgr. of Ringline Corp.

關於垃圾郵件 什麼是SPAM? 什麼是e-mail spam? Spam 是指在網路上一種不斷複製相同訊息(資料)的溢位攻擊，意圖強迫接收者接受而無法接收到其他的訊息。大部分的Spam來自於商業廣告，其中一部分會是曖昧性質的產品、快速致富管道、或者準合法(交友、股票、…)的服務。Spam 對發送者而言成本極其微小，大部分的成本會轉嫁到接收者或者網路服務提供者身上。 -- J. D. Falk -- E-mail, Netnews, Instant Messaging, … 未經同意的訊息硬塞給大部分沒有興趣的接收者，通常訊息量都很大 什麼是e-mail spam? 無意義的 e-mail 未經同意的巨量郵件(UBE, Unsolicited Bulk E-mail) 未經同意的商業郵件(UCE, Unsolicited Commercial E-mail)

垃圾郵件的演進 Jan. 2001, Jan. 2003, By the end of 2003, By the end of 2007, 8% of all e-mail traffic in the US is spam [Brightmail Inc.] Jan. 2003, 42% [Brightmail Inc.] nearly doubling in the past six months By the end of 2003, more than 50% [Brightmail Inc.] By the end of 2007, more than 85% [Brightmail Inc.]

垃圾郵件的演進 (cont.)

Spam造成的成本 一般企業 使用者 ISPs 的負擔 > 美金一百億的有形無形損失 - 2003 [Ferris Research] 約14,000個員工的公司，每年需付出US$245,000 的成本 [IDC] 使用者 5 spam/day, 30 seconds each -> 15 hours/year [Ferris Research] 喪失生產力 ISPs 的負擔 (郵件)伺服器及傳輸設備系統資源的損耗 網路頻寬的浪費 使用者的抱怨

Spam氾濫的原因 寄送大量垃圾郵件的成本低廉 SMTP郵件轉送機制過於簡陋 郵箱名單取得容易 垃圾郵件發送器 免費郵件帳號取得容易 Web, mailing list, … 垃圾郵件發送器 免費郵件帳號取得容易 SMTP郵件轉送機制過於簡陋 無法確認寄件者的身分 偽造IP/使用者郵件帳號 開放架構的郵件轉送機制

不安全的郵件傳輸 Internet 撰寫郵件 偷看郵件 竄改郵件內容 郵件竊取

大量發信程式

傳統文字型垃圾信 傳統文字型垃圾信用傳統的 Anti-spam技術即可攔截,如黑名單,關鍵字,貝氏演算法.

圖檔垃圾信 ( Image Spam )

圖檔垃圾信 2

圖檔垃圾信 3

PDF 型垃圾郵件

ZIP 壓縮附檔夾帶後門程式垃圾信

網路詐騙夾帶後門的惡意信件

One to many - 利用一般發信軟體 - 購買搜集好的名單 Spammer 的進化 Many to many - Zombies-networks - Virus、Phishing、Spyware

偽造寄件者、主旨

退信攻擊 鎖定攻擊目標為 jack@a.com ; 將郵件寄到已知的 b.com ; 但zyx38jh 不存在 將郵件寄到已知的 c.gov ; 但zyx38jh 不存在 MAIL FROM jack@a.com RCPT TO zyx38jh@b.com Internet “Zombies” 受感染及被控制的僵屍電腦 MAIL FROM jack@a.com RCPT TO zyx38jh@c.gov Invalid Recipient 550 User Unknown A lot of bounces jack@a.com a.com

垃圾郵件問題多 NCC 擬在管理條例草案加入業者刑責 2006/08/22 18:17 記者陳曉藍／台北報導 垃圾郵件充斥信箱刪也刪不完，是網路使用者最困擾的問題之一，NCC（國家通訊傳播委員會）表示，將檢視94年立院一讀通過的「濫發商業電子郵件管理條例草案」，推動增加濫發垃圾郵件業者的刑責，同時NCC也將增設濫發商業電子郵件處理（管理）科。 NCC副主委劉宗德表示，94年3月4日一讀通過的「濫發商業電子郵件管理條例草案」，目前還在科資委員會待審議中，以目前條文內容來看，僅僅是要求業者自律、公協會參與，以及民事求償機制，但是一般民眾認為，這種私人對私人求償，或是團體訴訟的約束力太低。 劉宗德說，NCC預計檢視一讀草案條例內容，加入適當罰則，例如是否行政檢查、找到濫發垃圾郵件來源，是否要撤照或停照，如果危害公共利益與安全，甚至是否應處以罰鍰，甚至負擔刑責。 另外，網路本來就由NCC管轄，法律事務處之下將設置濫發商業電子郵件處理（或管理；名稱未定）科，使用者部分由營運管理處管理，而業者部分就由濫發商業電子郵件處理（管理）科負責。 <結論> 立法緩不濟急 !

網路釣魚 ~ Phishing 根據反網路釣魚工作小組（APWG）定義，「Phishing」（網路釣魚）是利用發送大量偽造電子郵件 與網站作為誘餌，愚弄使用者洩漏如銀行帳戶密碼、信用卡號碼等個人機密資料。利用知 名品牌所建立的信賴感，幾可亂真的偽造網站與郵件也讓此類詐騙行為成功機率達5%。 你被「釣」了嗎？這可不是網路最新流行用語，「網路釣魚術」（Phising，Fishing一字衍生而成）是一種可能危及個人及企業利益的資安危機。 根據研究機構調查，近年於網路中出沒的間諜軟體與誘騙行為正急劇上升，光是2003年，美國已有200萬成年人跌入網路陷阱，銀行與消費者的直接損失高達24億美元。 今年6月初，刑事局偵九隊也正式破獲國內首起利用網路釣魚手法，竊取網友銀行戶頭金錢的犯罪事件。你現在還傻傻相信每一封電子郵件、每一個網站連結嗎？網路版的「姜太公釣魚 」正在熱烈上演，小心被騙！ <結論> 運用此手法的比例會逐漸升高 !

郵件攻擊日異增多 2004年12月7日消息稱，網路安全公司周一表示，今年以來捕釣式郵件攻擊發生的頻率增加了近10倍。 其年度報告中指出，公司於2004年全年截獲的捕釣攻擊郵件總量高達2000萬，從一月份的33.705萬封增加到十一月的450萬封。而更令人關注的是6月到7月的增幅最為明顯，從26.4254萬增至250萬。而2003年9月份只截獲了279封捕釣攻擊郵件。　 該公司首席技術官Mark Sunner表示，“無論從數量還是頻率來看，郵件攻擊事件在急劇擴張。而今年之所以更為猖獗的主要原因是捕釣式郵件的出現，在不到12個月的時間裏，它已經威脅到了所有的個人計算機及組織機構網路。” 發動攻擊的捕釣者所使用的技術越來越精湛，最近發現甚至不需要用戶點擊某些鏈結就可以自動獲得銀行賬號等敏感資訊。 公司受到惡意攻擊的頻率也大為增加，比如針對一些賭博公司的拒絕式服務攻擊等。 <結論> 攻擊手法日異精湛,MIS如臨大敵 !

台灣地區07~08年度統計數字成長與比較 2007年度垃圾郵件數量已占整體E-mail流量之 79% 平均每天垃圾郵件數量(封)成長了 128% 平均每天垃圾郵件大小(Size)成長了 185% 夾帶圖檔之垃圾郵件(Image Spam)成長了 350% 2007年度Image Spam已占整體Spam數量之38% 2007年7月爆發全新PDF型垃圾郵件 2007年8月爆發全新ZIP型垃圾郵件 2007年9月爆發全新MP3型垃圾郵件 2008年2月爆發對岸網軍偽冒某政府單位發公告事件 2008年3月爆發全新退信攻擊事件

真正需要的正常郵件 < 10%

Maksim H. Tien Product Mgr. of Ringline Corp. 阻擋垃圾郵件的對策 Maksim H. Tien Product Mgr. of Ringline Corp.

郵件的真實面貌 Return-Path: <ing23122028@yahoo.com.tw> X-Original-To: maksim_tien@ringline.com.tw Delivered-To: maksim_tien@ringline.com.tw Received: from mailgw.ringline.com.tw (mailgw.ringline.com.tw [172.16.0.51]) by mail.ringline.com.tw (Postfix) with ESMTP id BB2B5B7D33 for <maksim_tien@ringline.com.tw>; Mon, 5 May 2008 14:37:35 +0800 (CST) Received: from web73906.mail.tp2.yahoo.com [(203.188.201.166)] by mailgw.ringline.com.tw (Cellopoint Secure Mail Gateway v3.7.1 Build 0815) with ESMTP id 489572861; Mon, 05 May 2008 14:36:40 +0800 Received: (qmail 37993 invoked by uid 60001); 5 May 2008 06:36:39 -0000 DomainKey-Signature: a=rsa-sha1; q=dns; c=nofws; s=s1024; d=yahoo.com.tw; h=X-YMail-OSG:Received:Date:From:Subject:To:MIME-Version:Content-Type:Content-Transfer-Encoding:Message-ID; b=Yp5EmYJfKkn5VycdLZ0/rfQ3z5dy1Ni5S7PAdFXLUAfP2jZ97Dz63qI3GtCjW72PNOkOqa/DGA3g4f6xmMap4fHlqiPsGku8e+6MZlQuBzMFgYioscmEWAG/4KiFRj0xohzkJ1AiG1uVgWFcOJVlF7IndarAS0gNIEiACxoFIJ4=; X-YMail-OSG: L8hI.9sVM1nzTdl4vRs7hKaqTvzya06a8f_0giFZOUGk1hfozAem1SbAK3zEnEdTKbVLgYBH0PcLrIut57JydvSfrA9lNALXYvEdI4dqdNqf0S4Fa5pWNQHf.Vj33hfLHrj8Yg-- Received: from [220.128.137.112] by web73906.mail.tp2.yahoo.com via HTTP; Mon, 05 May 2008 14:36:39 CST Date: Mon, 5 May 2008 14:36:39 +0800 (CST) From: 映象攝影器材 <ing23122028@yahoo.com.tw> Subject: Fwd: 已匯款通知 To: maksim_tien@ringline.com.tw MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="0-1480465516-1209969399=:37737" Content-Transfer-Encoding: 8bit Message-ID: <696418.37737.qm@web73906.mail.tp2.yahoo.com> Status:

正規的防堵垃圾郵件解決方案 控制性的解決方案 防制垃圾郵件法案 限制郵件的發送 操作性的解決方案 郵件過濾 郵資 一次性郵件位址

防治垃圾郵件的法律 限制郵件的發送 控制性解決方 http://www.spamlaws.com/ US CAN-SPAM Act (S.877) enacted on Jan. 1, 2004 濫發電子郵件管理條例草案 – 台灣NCC, 2006 限制郵件的發送 需依靠技術資訊 耗時且耗財的進程 造成極大的不便利性

操作性解決方案 過濾器: 用來分辨正常或是垃圾信件 徵收郵資: 郵件位址隱藏: 強化 SMTP 協定或其機制 探查式過濾 分類式過濾: 機器自動學習 徵收郵資: 增加電子郵件寄送的成本 郵件位址隱藏: 郵件編碼 (text to image, Java script, …) 一次性郵件位址: 將每次郵件傳送的sender (from, return path, …)以規則化或亂數表示 強化 SMTP 協定或其機制 Email 傳遞路徑確認機制 (Received) 具認證機制的SMTP (Domain-Key, DS, …)

郵件過濾技術 – 探查式過濾 黑/白/灰 名單 衍生問題 黑名單: 表列會散發垃圾信的IP位址 白名單: 可信任的郵件發送者列表 RBLs (Real-time Blackhole Lists), 開放郵件轉送, 開放代理, … 白名單: 可信任的郵件發送者列表 Challenge-response mechanism 灰名單: 對於未知的送信者採暫時的緩寄政策 衍生問題 容易產生錯誤 偽冒 IP address/sender e-mail address 各名單必須經常更新 垃圾郵件發送者常更改IP及郵件位址

郵件過濾技術 – 探查式過濾 (cont.) 機械式/智能式 雜湊法 衍生問題 關鍵字比對 (MS Outlook) 在該郵件的主旨或內容中尋找類似的訊息或字詞 衍生問題 現有的規則很難去規則化及更新 Spam is always changing 中文(double byte)菜單表示法的攻擊 Make thousands of dollars working at home !!! Earn lots of money in the comfort of your own house.

郵件過濾技術 – 分類式過濾 機器自動學習機制 衍生問題 字詞分類方法: TF-IDF, Naïve Bayes, N-gram, SVM (Support Vector Machine), … 以演算法分辨 spam vs. good 依垃圾郵件型態的改變自動調整 衍生問題 需要極多的可供學習的資料 垃圾信的變化太快 資料不正確容易產生學習錯誤 垃圾郵件發送者也在學習 圖像式、同意字、破音字、故意拼錯、 … “One man’s spam is another man’s ham”  個人化的問題

如何獲得供機器學習的資料? 學習資料中的雜訊 個人化問題 自動學習機制 Honeypot (account) Feedback Loop (human) 學習資料中的雜訊 EX: 丘處機(周伯通)版的九陰真經 個人化問題 使用者偏好的學習與否

郵資: 用來增加寄送垃圾信件的成本 衍生問題 徵收郵資 金錢: 付款方式 核算: 所需要的時間 調整測試: challenge-response (申請時…) 衍生問題 在寄送途中可能需要複雜且頻繁的匯率交換 網路傳輸費用應由誰支付?

郵件位址隱藏 衍生問題: 建置成本較高 使用者回覆郵件的麻煩 Return-Path: <avan_chung@dlink.com.tw> X-Original-To: maksim_tien@ringline.com.tw Delivered-To: maksim_tien@ringline.com.tw Received: from mailgw.ringline.com.tw (mailgw.ringline.com.tw [172.16.0.51]) by mail.ringline.com.tw (Postfix) …… X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on mailgw.ringline.com.tw X-Spam-Status: score=-0.6 required=3.0 X-Spam-Report: 0.3 FROM_HAS_ULINE_NUMS From: contains an underline and numbers/letters 1.3 FROM_LOCAL_HEX From: localpart has long hexadecimal sequence -0.0 SPF_HELO_PASS SPF: HELO matches SPF record 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines -2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1% [score: 0.0000] 0.2 MIME_BASE64_BLANKS RAW: Extra blank lines in base64 encoding 0.2 MIME_BASE64_NO_NAME RAW: base64 attachment does not have a file name From: D-Link 鍾仁文Avan Chung <D-Link_0xLIC1E9A4AFA4E5zAvan_Chung@dlink.com.tw> Sender: Avan_Chung@dlink.com.tw 衍生問題: 建置成本較高 使用者回覆郵件的麻煩

Email 傳遞路徑確認機制 具認證機制的 SMTP 強化 SMTP 轉送機制 以傳送路徑回推來驗證是否為真實寄件者 衍生問題: 會產生更大的流量，造成網路負擔 具認證機制的 SMTP 可信任的規範 SMTP authentication (RFC 2554), SMTP over SSL/TLS (RFC 3207), digital signatures (PGP, …) 衍生問題: 郵件主機與所有client都需具備該機制且能配合

信譽評等機制 衍生問題 其他的操作方式 以真實度為基礎 (演算法) 將 email sending/receiving 統計排序 大量寄送需求者會擁有較差評等 (mailing lists, newsletters, …)

其他的操作方式 (cont.) 蜂蜜罐 (Honey-pot) 復仇攻擊 (IBM) 設計一些不會使用的帳號來釣取垃圾信 EX: admin@, service@, … 無任何認證或檢測機制 任何郵件皆可接收 衍生問題: Spammer學聰明了，不會用字典式來發送垃圾信 復仇攻擊 (IBM) Filters that fight back http://www.paulgraham.com/ffb.html 衍生問題: 很多來源端都是無辜者(肉雞)

傳統 Anti-spam 技術 IP reputation services which were relatively static (e.g. public blacklists) became obsolete as spam source changed Content analysis – deterministic e.g. keywords, or heuristic – became obsolete as spam content and look changed So – how do vendors still manage to catch spam? They stack layers, and once in a while replace modules.

ICC / ICA 技術

全新的圖檔垃圾信( Image Spam )為例 -為了避開傳統的Anti-spam技術,Spammer採用挾帶圖檔( Image),圖檔的內容人類可輕易解讀;但圖本身的背景可用不同顏色、不規則點線等擾亂電腦運算與判讀. -即使始採用OCR技術,其效果仍然效果有限,且耗用大量resource

可查看Header 第四代 ICA 技術能有效攔截 第三代貝氏演算法 攔截不到

ICA_000x 為Image Spam,所攔截到的比例愈來愈高

每小時自動更新ICA_rule 為最新特徵資料庫

標準郵件的 7A 防護 標準的郵件的7A防護： 防垃圾郵件(Anti-Spam) 防病毒郵件(Anti-Virus) Internet 標準的郵件的7A防護： 防垃圾郵件(Anti-Spam) 防病毒郵件(Anti-Virus) 防間諜程式(Anti-Spyware) 防釣魚郵件(Anti-Phishing) 防中繼轉信(Anti-Relay) 防DoS攻擊(Anti-DoS) 防駭客入侵(Anti-Hacking) Valid Mail Spam Relay Mail DoS Hacking Phishing Virus Spyware Valid Mail

技術性Cocktail (Multi-Tier) Anti-Spam

Cocktail (Multi-Tier) Anti-Spam Sample DNS Lookup DNS Reverse Lookup RBL (Realtime Blackhole Lists) Sender/ Recipient Verification Black / White List SPF (Sender Policy Framework) Mail-bombing Prevention 1 2 3 4 5 6 7 Spoofed Sender Black / White Lists Email Harvesting Prevention Keyword scanning Subject Analysis Intelligent Content Filter 8 9 10 12 11 13 16 17 18 19 20 21 22 23 Bayesian Algorithm Spam Smart-signature Database Lexical Text Classification Statistical Text Analysis Heuristic Analysis SpamAssassin Text Manipulation Detection URL Classification Hi!   My name is Mary and I've just turned 18. I can finally fullfill my burning desires and show you my HOT naked body!! I also have many friends who are just as eager as me to fullfill your fantasies... You can now see me and my friends doing wild sexual acts completely FREE OF CHHARGE. You can also get FREE ACCESS to thousands of PORN sites. Click HERE Now! for your free access!! 14 15 Porn Image Detection* (* is06Q3 ready) OCR (Optical Character Recognition)* Cellopoint的多層次(multi-tier Anti-Spam)攔截技術說明如下,其攔截效果高達 92~99% !  1.  DNS Lookup : 查詢與CEF建立SMTP連線的主機名稱與在DNS登記的IP是否相符。  2.  DNS Reverse Lookup :查詢與CSMG建立SMTP連線的主機IP與在DNS登記的名稱是否相符。  3.RBL (Realtime Blackhole Lists) : RBL 過濾是利用 DNS 查詢時，對郵件來源網域做 Real-time Blackhole List 的比對來判斷郵件的來源是否為可疑的垃圾郵件發信站。  4.Sender/ Recipient Verification : 寄件者驗証是透過對寄件者郵件地址(MAIL From:)的確認來決定是否隔離或拒收郵件。收件者驗証是透過對收件者郵件地址的確認來決定是否隔離或拒收郵件。  5.Black / White List : 您可以透過設定系統整體或個人化，設定黑白名單(寄件人的 IP 位址或郵件地址)來決定一封信是否為垃圾郵件。  6.SPF (Sender Policy Framework) : 驗證寄件者的寄件主機是否為該網域合法的寄件主機。  7.Mail-bombing Prevention : CSMG會予以限制一封郵件所能寄送的人數，防止郵件炸彈攻擊。  8.Spoofed Sender : 查詢寄件者宣稱的網域是否存在在網際網路上，並可對寄件者模擬寄件過程以確認寄件者是否為真。 9.Black / White Lists : 對郵件標頭欄位的關鍵字比對，來決定一封信是否為垃圾郵件的依據。 10.Email Harvesting Prevention : CSMG會對收件者進行驗證，若寄件端主機嘗試寄送不存在的電子郵件帳號超過一定次數，CSMG將會與以斷線。 11.Keyword scanning :CSMG可以針對郵件標頭(Header)中的 from:  to:  subject:  進行關鍵字掃描，並予以攔截。   12.Subject Analysis :分析郵件主旨來分辨是否為常見的垃圾信字眼。 13. Intelligent Content Filter: 智慧型內容過濾會利用郵件信封 (Envelope)及標頭(Header)某些特定欄位的比對來判斷該郵件是否為一封正常的信件。大部分的電子報其郵件信封(Envelope)中 “MAIL FROM” 跟郵件標頭(Header) “FROM” 不一致。所以啟動此選項將可以阻擋大部份的電子報。若想要閱讀電子報的同事，可以在個人的黑白名單中加入電子報的電子郵件位址。 14.Porn Image Detection : 延後至 2007年Q1 。 15.OCR : 延後至 2007年Q1。 16.Bayesian Algorithm :貝氏演算法是 SpamAssassin 過濾垃圾郵件的一種方法。透過學習機制，可以輔助 SpamAssassin 增加垃圾郵件的判別正確率。簡單的說，貝氏演算法需要您主動回饋正常郵件和垃圾郵件的樣本以提供演算法學習，回饋愈多的正常及垃圾郵件樣本可以大幅提高垃圾郵件的判別率。 17.Spam Smart-signature Database : CSMG 於出廠時提供最新垃圾信特徵資料庫，此資料庫並依客戶實際環境做取樣，使資料庫不斷更新與演進。 18.Lexical Text Classification :  將垃圾郵件內文常見的字眼，將其分類之後存入資料庫，作為垃圾信判斷的依據。 19.Statistical Text Analysis :  分析郵件內文每個字詞出現的機率作為垃圾信判斷的依據。 20.Heuristic Analysis : 利用各項規則進行郵件的判斷，若郵件內容特徵符合某項規則，則予以增加分數，當超過一定數值，即判定為垃圾郵件。 21.SpamAssassin : SpamAssassin 是一套利用郵件內容特徵加權計分來檢測是否為垃圾郵件的軟體。 22.Text Manipulation Detection: 偵測郵件內文是否故意用一些特殊符號試圖繞過內文分析，如  p0rn0gr@phy，d_e_n_t_a_l    c_a_r_e，V-i-a-g-r-a。 23.URL Classification : 將垃圾信中常用的超連結歸類之後存入資料庫，作為垃圾信判斷依據。

Q & A