WilliamGates Blog » C#

.Net下HTTP访问穿越多层代理的方法以及代理服务器的验证

WG — Thu, 13 Jul 2006 13:17:06 +0000

　　我们学校的网络环境是，所有的出校访问均须通过代理服务器（我们叫作sproxy），并且不能连接国外网站。为此，我想要做一个自动抓取和验证出国代理列表的WebService。我们所有的验证代理的请求，都需要通过两层代理，最终通到用来测试的网站（我使用了www.redhat.com）

　　技术上的思路是，通过连接第一层代理sproxy（支持http tunnel），给第二层代理发送GET指令，从而完成对目标网页的访问。

　　首先，通过普通的匿名透明代理的方法，是直接使用Socket发送GET命令，只不过与GET普通网站稍有不同罢了

直接访问：

GET / HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/msword, application/vnd.ms-excel, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
UA-CPU: x86
Accept-Encoding: gzip, deflate
If-Modified-Since: Thu, 06 Jul 2006 15:39:53 GMT
If-None-Match: "1172d9-381c-44ad2ec9"
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
Host: www.redhat.com
Connection: Keep-Alive
Cookie: s_vi=[CS]v1|44AAA05400004577-A170C060000008A[CE]; Apache=61.147.159.196.23241152032846747

通过本机CCproxy:

GET / HTTP/1.0
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/msword, application/vnd.ms-excel, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
UA-CPU: x86
Proxy-Connection: Keep-Alive
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
Host: www.redhat.com
Cookie: s_vi=[CS]v1|44AAA05400004577-A170C060000008A[CE]; Apache=61.147.159.196.23241152032846747

　　可以看出来，只要给代理服务器发送正确的请求地址即可，不需要程序上特殊的变化。
　　事实上，对于不使用代理服务器的场合，你可以直接向某HTTP服务器发送GET /，而这在使用代理时不行，需要说明详细地址或者标明Host: www.redhat.com

对于两层代理，就有所不同了

　　首先要给sproxy发送一个CONNECT指令，令其去连接某公众网代理（这里称为proxy2），然后通过这个Socket连接发送GET指令给proxy2。这里对sproxy（以后称proxy1）有一个要求，即必须支持CONNECT，也就是说必须是一个HTTP Tunnel，或者说支持HTTPS。
　　由于一开始设置上的问题，我本以为返回HTTP 1.0的CCProxy不支持这样的方式，因为据说HTTP 1.0就不能支持HTTPS，连接一次，发送了数据一定会断开（一开始的测试中的确如此）。后来查阅资料才知道，HTTP 1.0只是默认不使用Connect: Keep-Alive的参数，事实上也是支持的，只要置上这个参数即可。
　　但实际使用中，发现不加上这个参数也是可以的（我对proxy1没有使用这个参数，可能是.net下的Socket类自动加上了）。

　　经过连续数天的测试，一直不能通过，问题集中在，给proxy2发送一次CONNECT命令，Socket就会断开，无法收到数据。这是典型的不支持HTTP Tunnel的表现，但是我一直怀疑是CCproxy和学校代理服务器的问题，没有发现根源所在。
　　因为我们访问sproxy需要用户名密码验证，我不得已才使用了CCProxy。后来，我又安装了一个代理服务器软件，发现其中只要使用“代理嵌套”（CCproxy叫作二级代理）的时候都需要HTTPS，我突然想到，会不会需要在CCproxy中设置？
　　于是，在CCproxy的设置-高级-二级代理中把代理类型设为HTTPS，使用proxy1做上级代理，果然成功。事实上，直接连接学校代理应该也是可以的，只是我还不知道如何在代理请求中发送用户验证信息（需要将验证信息截断为多个数据包，不能直接发送）。

代码如下，调试通过并成功运行了十多天了：

后台一个类：

public string Get_Socket_Request_uip(string ip)
        {
 
            Encoding ASCII = Encoding.Default;
 
            //给Proxy2发送命令
            string Con = "CONNECT " + ip + " HTTP/1.1
Connection: Keep-Alive
 
";
            string Get = "HEAD http://www.RedHat.com/ HTTP/1.1
Host: www.RedHat.com
Pragma: no-cache
Connection: Close
 
";
            Byte[] ByteCon = ASCII.GetBytes(Con);
            Byte[] ByteGet = ASCII.GetBytes(Get);
            Byte[] RecvBytes = new Byte[256];
            Byte[] RecvBytes2 = new Byte[256]; 
            string strRetPage = null;
            string strRetCon = null;
 
            //建立Socket
            Socket s = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
 
            //连接本地CCProxy
            IPAddress hostip = IPAddress.Parse("127.0.0.1");
            IPEndPoint ipend = new IPEndPoint(hostip, 808);
            //设置超时，超过了就证明这个代理无效
            s.SendTimeout = 20000;
            s.ReceiveTimeout = 20000;
 
            //这句话就是socket的Keep-Alive，我没有使用
            //s.SetSocketOption(SocketOptionLevel.Tcp, SocketOptionName.KeepAlive, true);
            s.Connect(ipend);
 
            try
            {
                //发送CONNECT命令
                s.Send(ByteCon, ByteCon.Length, 0);
 
                Int32 bytes = s.Receive(RecvBytes, RecvBytes.Length, 0);
                strRetCon = strRetCon + ASCII.GetString(RecvBytes, 0, bytes);
 
                if (strRetCon.Contains("200"))
                {
                    s.Send(ByteGet, ByteGet.Length, 0);
 
                    Int32 bytes2 = s.Receive(RecvBytes2, RecvBytes2.Length, 0);
                    strRetPage = strRetPage + ASCII.GetString(RecvBytes2, 0, bytes2);
 
                    //本来这里会循环接收数据（本来发送的不是HEAD而是GET，取整个页面），后来发现有时候这会导致断线，就去掉了，只用HEAD命令取返回的HTTP Head
                    /*while (bytes2 > 0)
                    {
                        bytes2 = s.Receive(RecvBytes2, RecvBytes2.Length, 0);
                        strRetPage = strRetPage + ASCII.GetString(RecvBytes2, 0, bytes2);
                    }*/
                }
            }
            catch
            {
                break;
            }
            finally 
            {
               s.Shutdown(SocketShutdown.Both);
               s.Close();
            }
            return strRetPage;
        }

前台的调用方法（已经使用证则表达式在别处的网页中抓取到待检测的代理列表，在matches数组中）：

public void TestProxy()
        {
            int r = 0;
 
            try
            {
                foreach (Match i in matches)
                {
                    string ip = i.Result("${ip}");
                    string port = i.Result("${port}");
                    try
                    {
                        //这里的hc是后台那个类，myhttpclient
                        string result = hc.Get_Socket_Request_uip(ip + ":" + port);
 
                        if (result.Contains("200 OK"))
                        {
                            checkedproxy[r] = ip + ":" + port;
                            r = r + 1;
                        }
                    }
                    catch (TimeoutException)
                    {
                        continue;
                    }
                    catch
                    {
                        continue;
                    }
                }
            }
            catch
            {
                break;
            }
        }

　　WebService代码就不给出了，就是调用这个方法而已。
　　
　　大家应该可以看出，这里实际上通过了三层代理（CCproxy，proxy1，proxy2），所以，如果要通过n层代理，方法也是一样的，只要一层层的CONNECT下去就行，但要求前n-1层代理都要支持HTTP tunnel。
　　另外，在实际部署中使用这个程序，需要在Web.config中的system.web项下添加一行

 executionTimeout="600"/>

　　否则超过10项的代理列表，几乎一定会超时的

ASP.NET应用程序的http请求超时的解决方案

WG — Sun, 09 Jul 2006 16:47:42 +0000

　　写后台的WebService的时候，常常碰到大规模的后台网络访问，客户端发来一个请求，程序需要处理很长时间。比如，我的代理验证程序就是这样。此时，如果禁用了web.config中的Debug模式，就会发生超时。原因来自web.config的一个设置：httpRuntime下的executionTimeout。
　　MSDN对此的解释：

executionTimeout
可选的 TimeSpan 属性。
 
指定在被 ASP.NET 自动关闭前，允许执行请求的最大秒数。
 
只有当 compilation 元素中的调试属性为 False 时，此超时属性才适用。若要帮助避免在调试期间关闭应用程序，请不要将此超时属性设置为较大值。
 
注意
在 .NET Framework 1.0 版和 1.1 版中，默认值为 90。
默认值为“00:01:50”（110 秒）。

　　事实上，最后一句话是错误的，写成这种时间格式不能通过编译，必须写成整数形式的秒。
　　知道了问题所在，只要修改一下这个设置即可，改成

 .web>
         executionTimeout="600"/>
        >

即可设置超时为600秒，对我的代理验证程序足够了

Directory Opus 联网验证被封证书后，清除安装痕迹的方法

WebService的缓存机制

WG — Tue, 23 May 2006 06:58:33 +0000

　　WebService的缓存分为两种，一种是简单的输出缓存，一种是强大的数据缓存

　　一、输出缓存
　　输出缓存的使用非常简单，比较适用于WebService的参数比较少，结果比较单一的情况，例如股票信息，可以设置5-10秒的缓存，天气预报，则可以设置30分钟甚至数小时的缓存。使用方法是，在WebMethod属性上指定CacheDuration属性即可，例如

[WebMethod(Description = "Test",CacheDuration=600)]
public string Test()
{
      return "Test";
}

　　这样，600秒内这个WebService的所有输出数据都将从缓存中读取，不会真正做数据处理，如果事务代码是访问数据库的话，现在这种方法就会比每次都访问数据库快得多。这种缓存适合初接触WebService的新手使用。
　　要注意的是，不是所有服务都适合使用这种缓存，例如每次结果都不一样的，访问数极高的服务，缓存将会变得非常大，占用很多服务器的内存，却没有实际效果。

　　二、数据缓存
　　想将你的WebService某些运行数据保存起来？如果不使用本地的数据库或者文件，那么缓存是最好的选择。这种缓存不同于上面提到的输出缓存，它需要编写代码来实现，但是相对应的，它的功能非常强大，可以存放任何类型的信息，并且你可以在任何时候检索它。
　　虽然也可以使用Application来模拟缓存，但是这需要你自己管理内存释放、用户并发问题，在.net时代已经被抛弃，WebService下的缓存使用Cache这个集合

using System.Web.Caching;
[WebMethod(Description = "Test")]
public string Test()
{
        string Content = "just4test";
 
        //创建数据缓存
        Context.Cache.Insert("Test", Content, null, DateTime.MaxValue,TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
 
        string result = Context.Cache["Test"].ToString();
        return result;
        }
}

　　在这里，我们使用了Context.Cache属性，Context.Cache.Insert方法用于将数据加入缓存。这个方法一共有4种重载，在这个例子中，我们使用的是功能最全面的重载版本，我们以此为例：每一个参数分别是键名（使用方法类似于Session），值，依赖性，绝对过期时间，可变过期时间，缓存优先级，缓存项目删除时的委托方法绝对过期时间是固定的，DataTime.MaxValue在这里表示永不过期；可变过期时间是一定时间内该缓存没有使用则自动失效，此处TimeSpan.Zero表示不使用可变过期。注意两者只能设置一项，如果要使用可变过期，绝对过期必须是DataTime.MaxValue，例如

Context.Cache.Insert("Test", Content, null, DateTime.MaxValue, TimeSpan.FromMinutes(10));

　　缓存优先级是Web服务器清理它的可能性，在此的CacheItemPriority.NotRemovable表示通常不从缓存中删除，可以理解为永久性缓存
　　通过依赖性，可以监视某个文件或者其他缓存的改动，如果有变化，则此缓存失效，这非常有实用价值。例如：

CacheDependency de = new CacheDependency(Server.MapPath("1.xml"));
Context.Cache.Insert("Test", Content, de, DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);

　　这样，1.xml文件被删除或者更改的时候，缓存就会失效

　　三、实用举例
　　实际使用中，我使用这样一段代码，当远程的某个文件更新时，必须下载到本地，而缓存负责保存该文件的文件名和修改时间，每次客户端请求文件名和时间的时候，直接从缓存读取。每次定时下载程序（另有代码）启动的时候，getFiles()方法先检查是否有新文件(与本地缓存比对），然后决定是否下载。

using System;
using System.Web;
using System.Web.Services;
using System.Web.Services.Protocols;
using System.Xml;
using System.Xml.Serialization;
using TestOp;
using System.Web.Caching;
[WebService(Namespace = "Test")]
[WebServiceBinding(ConformsTo = WsiProfiles.BasicProfile1_1)]
public class Test: System.Web.Services.WebService
{
 //提供下载和分析功能的后台代码类，TestOP
 private TestOp testOp;
 
 public Test()
 {
 testOp = newTestOp();
 }
 
 [WebMethod(Description = "下载文件")]
 public string getFiles()
 {
  if (Context.Cache["FileName"] != null)
  {
   string FN=Context.Cache["FileName"].ToString();
   testOp.GetHTML();
   testOp.GetMatch();
   if (FN.CompareTo(testOp.CheckFileName()) != 0)
   {
    try
    {
     testOp.Download();
     Context.Cache.Insert("Time", testOp.CheckTime(), null, DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
     Context.Cache.Insert("FileName", testOp.CheckFileName(), null, DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
 
 return "ok";
 }
 catch
 {
  return "Ex";
 }
 }
 else
 {
  return "ok";
 }
 }
 else
 {
  try
  {
   testOp.GetHTML();
   testOp.GetMatch();
   testOp.Download();
   Context.Cache.Insert("Time", testOp.CheckTime(), null, DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
   Context.Cache.Insert("FileName", testOp.CheckFileName(), null, DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
 
 return "ok";
 }
 catch
 {
  return "Ex";
 }
 }
 
 }
 
 [WebMethod(Description = "检查最新文件时间")]
 public string CheckTime()
 {
  if (Context.Cache["Time"] ==null)
  {
   try
   {
    this.getFiles();
    string result = Context.Cache["Time"].ToString();
 
    DateTime.MaxValue, TimeSpan.Zero, CacheItemPriority.NotRemovable, null);
    return result;
   }
   catch
   {
    return "Ex";
   }
  }
  else
  {
   string result = Context.Cache["Time"].ToString();
   return result;
  }
 
 }
 
 [WebMethod(Description = "检查最新文件名")]
 public string CheckFileName()
 {
  if (Context.Cache["FileName"] == null)
  {
   try
   {
    this.getFiles();
 
    string result = Context.Cache["FileName"].ToString();
    return result;
   }
   catch
   {
    return "Ex";
   }
  }
  else
  {
   string result = Context.Cache["FileName"].ToString();
   return result;
  }
 }
 
}

Directory Opus 联网验证被封证书后，清除安装痕迹的方法