Hadyai Internet R&D LAB
ผลงานของ Hadyai Internet R&D LAB => คุยกับทีมวิจัย => ข้อความที่เริ่มโดย: gudgeee ที่ 27 ตุลาคม 2008, 05:49:34
-
ผมโดน ลูกค้า เล่น Hi5 ที่มีทั้ง คลิป youtube flv animation หรือพวก Streaming หนังเข้าไป เน็ตแล็คทั้งร้าน แต่ก็ต้องยอมให้เล่น .....
แก้ squid หรือ ส่วนไหน ให้เก็บ พวกนี้ได้ บ้างครับ ลูกค้าหน้าเดิมๆ มาจะได้ไม่ต้องโหลดพวกนี้มาใหม่อีก
เคยใช้ CC เก็บพวกนี้ได้ แต่ตอนนี้ เปลี่ยนมาใช้ Ubuntu เก็บไม่ได้ครับ...
..ช่วยหน่อยครับ
-
มันเก็บได้ด้วยหรอ?? สงสัยมากๆ สงสัยตั้งแต่ CC ละ
ขอวิธีของ CC ที่ทำให้เก็บได้หน่อยครับ อยากได้จริงๆ
-
ถ้าจะทำให้เก็บก็คงได้แค่เพิ่มไฟล์นามสกุล .flv หรือไม่ก็ .swf
ส่วนจะเก็บไฟล์ youtube นั้นดูแล้วค่อนข้างยาก เนื่องจากว่าในการเปิด video ใน youtube แต่ละครั้งนั้น
url จะเปลี่ยนแปลงตลอด ถึงแม้ว่าจะเปิดไฟล์เดิมก็ตาม ดังนั้นจะทำให้ squid รู้ได้ว่า เป็นไฟล์เดียวกันคงจะยาก
-
:D นี่เลยท่าน Caching Youtube ใช้ squid 2.7 เผื่อจะเป็นประโยชน์บ้าง
http://forum.systemnetworkcare.com/index.php?topic=108.msg219;topicseen#msg219
http://forum.systemnetworkcare.com/index.php?topic=115.msg236;topicseen
ขอบคุณข้อมูล จาก http://www.systemnetworkcare.com/
-
ไม่แน่ใจว่ายังใช้ได้อีกไหมนะ เพราะ Youtube เปลี่ยนรูปแบบ URL ไปแล้ว
ลักษณะ URL ใหม่ ต่างจากของเดิมไปมากเลย และการเข้าแต่ละครั้ง URL ก็จะเปลี่ยนไปทุกครั้ง
ลองทดสอบกันดูนะครับ ว่ายังใช้ได้้ไหม
ตัวอย่าง URL ใหม่ ที่ใช้เก็บไฟล์ video
2008-10-30 11:49:35 5100 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2170&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskJKnuA7BoQHwvVGntao-SKo&eurl=http%3A%2F%2Fwww%2Esoccersuck%2Ecom%2Fsoccer%2Fviewtopic%2Ephp%3Ft%3D113909&el=embedded&ps=default - DIRECT/58.147.1.195 video/flv
2008-10-30 11:50:01 4816 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2197&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskKjv-ZkOkh1ED06uF5Fm6pB&el=detailpage&ps= - DIRECT/58.147.1.195 video/flv
2008-10-30 11:50:25 7451 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2217&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskLFF96CjXRnIz_KEkfAjUZ5&el=detailpage&ps= - DIRECT/58.147.1.195 video/flv
ไฟล์เดียวกัน เข้าชม 3 รอบ URL ก็ถูกเปลี่ยนไป
-
ขอโทษครับ สับสนไปหน่อย ที่เคยบอกว่า cc เก็บ ไฟล์ พวกนี้ได้ ...แต่เป็น IPCOP ครับ เริ่มเปิดร้านแรกๆใช้ ทำเชริฟ IPCOP ผ่านอุปกรณ์ loadbalance ตอนนี้ ใช้ ubuntu ของที่นี่ เร็วมากเลย
หาวิธี upgrade เป็น squid ver 2.7 ท่านได้ทำได้แล้วช่วยบอกด้วยนะครับ...
-
รอผม compile ubuntu 8.10 ก่อน มันจะติด squid2.7STABLE4 มาให้เลย
ขอศึกษาแป๊บนึง
-
จากการทดสอบ Squid 2.7 STABLE3 สามารถเก็บ video ไฟล์ของ Youtube ได้จริง
แต่เก็บได้เฉพาะ url ที่เป็นรูปแบบเก่า สำหรับ url ที่เป็นรูปแบบใหม่ยังไม่เก็บ
ต้องศึกษาปรับเปลี่ยนการใช้ url_rewrite ใหม่นะครับ น่าจะสามารถเก็บได้หมด
-
เก็บได้แล้วครับ ทุก vdo เลย
ลองเอา pc มาทำเซริฟ ต่อผ่าน เซริฟเดิม Ubuntu Multiwan
ลง Ubuntu 8.10 ทำ dhcp3 + iptable + squid 2.7
เก็บได้ ทุก Vdo ที่เปิด ดูใน youtube (แต่ใน ro89 ยังไม่ได้ลอง :P อิๆ )
สร้างไฟล /usr/local/bin/store_url_rewrite (script ข้างในก็ตามเวป )
บางส่วนที่เพิ่มใน squid
cache_mem 128 MB
maximum_object_size 500 MB
maximum_object_size_in_memory 65535 KB
cache_swap_low 98%
cache_swap_high 99%
store_dir_select_algorithm round-robin
ipcache_size 2048
ipcache_low 98
ipcache_high 99
fqdncache_size 2048
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
acl snmpcommunity snmp_community public
snmp_port 3401
snmp_access allow snmpcommunity localhost
snmp_access deny all
zph_mode tos
zph_local 0ื30
zph_parent 0
zph_option 136
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i \.flv$ 10080 90% 999999 ignore-no-cache override-expire ignore-private
refresh_pattern ^http://sjl-v[0-9]+\.sjl\.youtube\.com 10080 90% 999999 ignore-no-cache override-expire ignore-private
refresh_pattern ^http://(.*?)/get_video\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern ^http://(.*?)/videodownload\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern . 0 20% 4320
acl store_rewrite_list url_regex ^http://(.*?)/get_video\?
acl store_rewrite_list url_regex ^http://(.*?)/videodownload\?
cache allow store_rewrite_list
storeurl_access allow store_rewrite_list
storeurl_access deny all
storeurl_rewrite_program /usr/local/bin/store_url_rewrite
# Had to uncomment this again, because I couln'd login to google mail using IE6 (firefox had no trouble):
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
# --BEGIN-- youtube_cache config for squid
url_rewrite_children 20
acl youtube_query url_regex -i \.youtube\.com\/get_video
acl metacafe_query dstdomain v.mccont.com
acl dailymotion_query url_regex -i proxy\-[0-9][0-9]\.dailymotion\.com\/
acl google_query dstdomain vp.video.google.com
acl redtube_query dstdomain dl.redtube.com
acl xtube_query url_regex -i p[0-9a-z][0-9a-z]?[0-9a-z]?\.xtube\.com\/videos
acl vimeo_query url_regex bitcast\.vimeo\.com\/vimeo\/videos\/
url_rewrite_access allow youtube_query
url_rewrite_access allow metacafe_query
url_rewrite_access allow dailymotion_query
url_rewrite_access allow google_query
url_rewrite_access allow redtube_query
url_rewrite_access allow xtube_query
url_rewrite_access allow vimeo_query
redirector_bypass on
# --END-- youtube_cache config for squid
-------
เปิด vdo http://www.youtube.com/watch?v=cfjQujYrfEk
ดูใน access.log
TCP_MEM_HIT/200 8223828 GET http://www.youtube.com/get_video?video_id=cfjQujYrfEk&t=OEgsToPDskJyIoLVrKU4fgcb6Dmz3BFb&$z3BFb&el=detailpage&ps= - NONE/- video/flv
vdo http://www.youtube.com/watch?v=tbOiugjp63o&feature=channel
TCP_MEM_HIT/200 7630589 GET http://www.youtube.com/get_video?video_id=tbOiugjp63o&t=OEgsToPDskIq8K9tO_WP6SmzzFMYCc9W&$ YCc9W&el=detailpage&ps= - NONE/- video/flv
ติดตรงที่ยังเป็น TCP_MEM_HIT ช่วยดูให้ทีครับ .....ทำไงจะให้เป็น TCP_HIT ;D
-
ข้อมูล จาก เทพฝรั่ง Squid 2.7 Stable3
http://human.network.web.id/2008/06/30/caching-youtube/ (http://human.network.web.id/2008/06/30/caching-youtube/)
-
ข้อมูล จาก เทพฝรั่ง Squid 2.7 Stable3
http://human.network.web.id/2008/06/30/caching-youtube/ (http://human.network.web.id/2008/06/30/caching-youtube/)
ไม่ใช่เทพฝรั่งหรอครับ ภาษาอะไรก็ไม่รู้ อ่านไม่ออก
-
ตุรกี มั้งครับ อิๆ มันชอบมาม่อ สาวไทย ใน แคมฟอร์ก
....ขอบคุณครับ คุณหนึ่ง
นอกจาก squid ยังเกี่ยวกับ iptables ด้วย
เซริฟตัวที่ 2
eth0 ต่อที่ เซริฟ mutiwan เดิม
eth1 ต่อเข้า วงแลน
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -F
iptables -t mangle -F
iptables -t filter -F
iptables -X
iptables -A FORWARD -j ACCEPT
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 8080
แต่ก็ยัง TCP_MEM_HIT อยู่เหมือนเดิม
ทดสอบ นอกจาก youtube แล้วยังเก็บได้หมด ทุก Vdo web เลย
รอ Admin upgrade เป็น ubuntu 8.10 multiwan อยู่ ;D
หรือ ผมจะเอาไฟล์ไหน จาก CD แผ่น 2 มาทำ Mutiwan ใช้ไปพลางๆก๋อนได้บ้าง
สู้ๆ ครับ Hadyaiinternet
-
TCP_HIT กับ TCP_MEM_HIT ก็เหมือนกันครับ
TCP_MEM_HIT แสดงว่า เจอไฟล์ที่เก็บไว้ใน MEM ซึ่งถ้าเราตั้ง maximum_object_size_in_memory ไว้เยอะ
มันก็จะพยายามโหลดเข้า MEM เมื่อมีการ HIT มันก็เลยแสดงว่า TCP_MEM_HIT
ส่วน TCP_HIT ก็คือ การ HIT ของ Cache ที่อยู่ใน HDD ตามปกตินั่นเอง
จะว่าไป TCP_MEM_HIT จะเร็วกว่าซะด้วยซ้ำไป สังเกตุจากเวลาในการประมวลผลใน คอลั่มที่สอง ของ logfile นะครับ
-
เอ...ผมลองทำแล้วมันไม่ได้แฮะมันติดแถวๆนี้หน่ะครับ
snmp_port 3401
snmp_access allow snmpcommunity localhost
snmp_access deny all
มันรันคำสั่งนี้ไม่ผ่าน
ผมใช้ 8.10 Squid 2.7 STABLE 3
-
# --BEGIN-- youtube_cache config for squid
url_rewrite_children 20
acl youtube_query url_regex -i \.youtube\.com\/get_video
acl metacafe_query dstdomain v.mccont.com
acl dailymotion_query url_regex -i proxy\-[0-9][0-9]\.dailymotion\.com\/
acl google_query dstdomain vp.video.google.com
acl redtube_query dstdomain dl.redtube.com
acl xtube_query url_regex -i p[0-9a-z][0-9a-z]?[0-9a-z]?\.xtube\.com\/videos
acl vimeo_query url_regex bitcast\.vimeo\.com\/vimeo\/videos\/
url_rewrite_access allow youtube_query
url_rewrite_access allow metacafe_query
url_rewrite_access allow dailymotion_query
url_rewrite_access allow google_query
url_rewrite_access allow redtube_query
url_rewrite_access allow xtube_query
url_rewrite_access allow vimeo_query
redirector_bypass on
# --END-- youtube_cache config for squid
-------
This is author of youtube cache. Youtube Cache has come a long way. Please check the latest version of youtube cache at http://cachevideos.com (http://cachevideos.com).
-
ไม่ทราบว่าตอนนี้เก็บได้ยังครับ
-
เก็บจนเลิกเก็บกันแล้ว