ข่าว: ข่าวประกาศ

  • 25 พฤศจิกายน 2024, 22:37:49

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

ผู้เขียน หัวข้อ: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ  (อ่าน 37028 ครั้ง)

gudgeee

  • Customer Lv.1
  • Newbie
  • ***
  • กระทู้: 20
    • ดูรายละเอียด
ผมโดน ลูกค้า เล่น Hi5  ที่มีทั้ง คลิป youtube  flv  animation หรือพวก Streaming หนังเข้าไป เน็ตแล็คทั้งร้าน แต่ก็ต้องยอมให้เล่น .....
แก้ squid หรือ ส่วนไหน ให้เก็บ พวกนี้ได้ บ้างครับ  ลูกค้าหน้าเดิมๆ มาจะได้ไม่ต้องโหลดพวกนี้มาใหม่อีก
เคยใช้  CC เก็บพวกนี้ได้ แต่ตอนนี้ เปลี่ยนมาใช้ Ubuntu เก็บไม่ได้ครับ...
..ช่วยหน่อยครับ

fuckerboyd

  • Newbie
  • *
  • กระทู้: 8
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #1 เมื่อ: 28 ตุลาคม 2008, 08:06:42 »
มันเก็บได้ด้วยหรอ?? สงสัยมากๆ สงสัยตั้งแต่ CC ละ
ขอวิธีของ CC ที่ทำให้เก็บได้หน่อยครับ อยากได้จริงๆ

admin

  • Administrator
  • Hero Member
  • *****
  • กระทู้: 3820
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #2 เมื่อ: 28 ตุลาคม 2008, 11:20:41 »
ถ้าจะทำให้เก็บก็คงได้แค่เพิ่มไฟล์นามสกุล .flv หรือไม่ก็ .swf

ส่วนจะเก็บไฟล์ youtube นั้นดูแล้วค่อนข้างยาก เนื่องจากว่าในการเปิด video ใน youtube แต่ละครั้งนั้น

url จะเปลี่ยนแปลงตลอด ถึงแม้ว่าจะเปิดไฟล์เดิมก็ตาม ดังนั้นจะทำให้ squid รู้ได้ว่า เป็นไฟล์เดียวกันคงจะยาก
<a href="http://www.hadyaiinternet.com/images/inetcafe.swf" target="_blank" rel="noopener noreferrer" class="bbc_link bbc_flash_disabled new_win">http://www.hadyaiinternet.com/images/inetcafe.swf</a>

Akasuki

  • Newbie
  • *
  • กระทู้: 1
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #3 เมื่อ: 30 ตุลาคม 2008, 18:20:33 »
 :D   นี่เลยท่าน Caching Youtube ใช้ squid 2.7  เผื่อจะเป็นประโยชน์บ้าง

     http://forum.systemnetworkcare.com/index.php?topic=108.msg219;topicseen#msg219
     http://forum.systemnetworkcare.com/index.php?topic=115.msg236;topicseen 
  
      ขอบคุณข้อมูล จาก http://www.systemnetworkcare.com/
« แก้ไขครั้งสุดท้าย: 30 ตุลาคม 2008, 18:22:23 โดย Akasuki »

admin

  • Administrator
  • Hero Member
  • *****
  • กระทู้: 3820
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #4 เมื่อ: 30 ตุลาคม 2008, 19:18:19 »
ไม่แน่ใจว่ายังใช้ได้อีกไหมนะ เพราะ Youtube เปลี่ยนรูปแบบ URL ไปแล้ว

ลักษณะ URL ใหม่ ต่างจากของเดิมไปมากเลย และการเข้าแต่ละครั้ง URL ก็จะเปลี่ยนไปทุกครั้ง

ลองทดสอบกันดูนะครับ ว่ายังใช้ได้้ไหม

ตัวอย่าง URL ใหม่ ที่ใช้เก็บไฟล์ video

2008-10-30 11:49:35   5100 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2170&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskJKnuA7BoQHwvVGntao-SKo&eurl=http%3A%2F%2Fwww%2Esoccersuck%2Ecom%2Fsoccer%2Fviewtopic%2Ephp%3Ft%3D113909&el=embedded&ps=default - DIRECT/58.147.1.195 video/flv

2008-10-30 11:50:01   4816 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2197&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskKjv-ZkOkh1ED06uF5Fm6pB&el=detailpage&ps= - DIRECT/58.147.1.195 video/flv

2008-10-30 11:50:25   7451 192.168.103.170 TCP_MISS/200 1747152 GET http://58.147.1.195/youtube/2/ElNNyVFuR70?ivit=2217&original=www.youtube.com/get_video?video_id=ElNNyVFuR70&t=OEgsToPDskLFF96CjXRnIz_KEkfAjUZ5&el=detailpage&ps= - DIRECT/58.147.1.195 video/flv

ไฟล์เดียวกัน เข้าชม 3 รอบ URL ก็ถูกเปลี่ยนไป
« แก้ไขครั้งสุดท้าย: 30 ตุลาคม 2008, 19:31:56 โดย admin »
<a href="http://www.hadyaiinternet.com/images/inetcafe.swf" target="_blank" rel="noopener noreferrer" class="bbc_link bbc_flash_disabled new_win">http://www.hadyaiinternet.com/images/inetcafe.swf</a>

gudgeee

  • Customer Lv.1
  • Newbie
  • ***
  • กระทู้: 20
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #5 เมื่อ: 31 ตุลาคม 2008, 07:12:19 »
ขอโทษครับ สับสนไปหน่อย ที่เคยบอกว่า cc  เก็บ ไฟล์ พวกนี้ได้  ...แต่เป็น   IPCOP  ครับ  เริ่มเปิดร้านแรกๆใช้  ทำเชริฟ IPCOP ผ่านอุปกรณ์  loadbalance  ตอนนี้ ใช้  ubuntu ของที่นี่    เร็วมากเลย

หาวิธี upgrade  เป็น  squid  ver 2.7   ท่านได้ทำได้แล้วช่วยบอกด้วยนะครับ...

admin

  • Administrator
  • Hero Member
  • *****
  • กระทู้: 3820
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #6 เมื่อ: 31 ตุลาคม 2008, 07:35:27 »
รอผม compile ubuntu 8.10 ก่อน มันจะติด squid2.7STABLE4 มาให้เลย

ขอศึกษาแป๊บนึง
<a href="http://www.hadyaiinternet.com/images/inetcafe.swf" target="_blank" rel="noopener noreferrer" class="bbc_link bbc_flash_disabled new_win">http://www.hadyaiinternet.com/images/inetcafe.swf</a>

admin

  • Administrator
  • Hero Member
  • *****
  • กระทู้: 3820
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #7 เมื่อ: 31 ตุลาคม 2008, 20:13:12 »
จากการทดสอบ Squid 2.7 STABLE3  สามารถเก็บ video ไฟล์ของ Youtube ได้จริง

แต่เก็บได้เฉพาะ url ที่เป็นรูปแบบเก่า  สำหรับ url ที่เป็นรูปแบบใหม่ยังไม่เก็บ

ต้องศึกษาปรับเปลี่ยนการใช้ url_rewrite ใหม่นะครับ น่าจะสามารถเก็บได้หมด
<a href="http://www.hadyaiinternet.com/images/inetcafe.swf" target="_blank" rel="noopener noreferrer" class="bbc_link bbc_flash_disabled new_win">http://www.hadyaiinternet.com/images/inetcafe.swf</a>

gudgeee

  • Customer Lv.1
  • Newbie
  • ***
  • กระทู้: 20
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #8 เมื่อ: 04 พฤศจิกายน 2008, 23:57:10 »
เก็บได้แล้วครับ   ทุก vdo เลย
ลองเอา pc มาทำเซริฟ   ต่อผ่าน เซริฟเดิม  Ubuntu Multiwan
ลง  Ubuntu 8.10  ทำ dhcp3 + iptable + squid 2.7
เก็บได้ ทุก Vdo ที่เปิด ดูใน youtube  (แต่ใน  ro89 ยังไม่ได้ลอง  :P อิๆ )   

สร้างไฟล  /usr/local/bin/store_url_rewrite  (script ข้างในก็ตามเวป )


บางส่วนที่เพิ่มใน squid

 cache_mem 128 MB
maximum_object_size 500 MB
maximum_object_size_in_memory 65535  KB
cache_swap_low 98%
cache_swap_high 99%
store_dir_select_algorithm round-robin
ipcache_size 2048
ipcache_low 98
ipcache_high 99
fqdncache_size 2048
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
acl snmpcommunity snmp_community public

snmp_port 3401
snmp_access allow snmpcommunity localhost
snmp_access deny all

zph_mode tos
zph_local 0ื30
zph_parent 0
zph_option 136

refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i \.flv$       10080   90%     999999 ignore-no-cache override-expire ignore-private
refresh_pattern ^http://sjl-v[0-9]+\.sjl\.youtube\.com 10080 90% 999999 ignore-no-cache override-expire ignore-private
refresh_pattern ^http://(.*?)/get_video\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern ^http://(.*?)/videodownload\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern .               0       20%     4320


acl store_rewrite_list url_regex ^http://(.*?)/get_video\?
acl store_rewrite_list url_regex ^http://(.*?)/videodownload\?
cache allow store_rewrite_list


storeurl_access allow store_rewrite_list
storeurl_access deny all

storeurl_rewrite_program /usr/local/bin/store_url_rewrite

# Had to uncomment this again, because I couln'd login to google mail using IE6 (firefox had no trouble):
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

# --BEGIN-- youtube_cache config for squid
url_rewrite_children 20
acl youtube_query url_regex -i \.youtube\.com\/get_video
acl metacafe_query dstdomain v.mccont.com
acl dailymotion_query url_regex -i proxy\-[0-9][0-9]\.dailymotion\.com\/
acl google_query dstdomain vp.video.google.com
acl redtube_query dstdomain dl.redtube.com
acl xtube_query url_regex -i p[0-9a-z][0-9a-z]?[0-9a-z]?\.xtube\.com\/videos
acl vimeo_query url_regex bitcast\.vimeo\.com\/vimeo\/videos\/
url_rewrite_access allow youtube_query
url_rewrite_access allow metacafe_query
url_rewrite_access allow dailymotion_query
url_rewrite_access allow google_query
url_rewrite_access allow redtube_query
url_rewrite_access allow xtube_query
url_rewrite_access allow vimeo_query
redirector_bypass on
# --END-- youtube_cache config for squid
-------

เปิด vdo http://www.youtube.com/watch?v=cfjQujYrfEk
ดูใน access.log
   TCP_MEM_HIT/200 8223828 GET http://www.youtube.com/get_video?video_id=cfjQujYrfEk&t=OEgsToPDskJyIoLVrKU4fgcb6Dmz3BFb&$z3BFb&el=detailpage&ps= - NONE/- video/flv


vdo  http://www.youtube.com/watch?v=tbOiugjp63o&feature=channel
   TCP_MEM_HIT/200 7630589 GET http://www.youtube.com/get_video?video_id=tbOiugjp63o&t=OEgsToPDskIq8K9tO_WP6SmzzFMYCc9W&$ YCc9W&el=detailpage&ps= - NONE/- video/flv

ติดตรงที่ยังเป็น    TCP_MEM_HIT     ช่วยดูให้ทีครับ .....ทำไงจะให้เป็น TCP_HIT  ;D

1gamenet

  • บุคคลทั่วไป
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #9 เมื่อ: 05 พฤศจิกายน 2008, 03:44:19 »
ข้อมูล จาก เทพฝรั่ง Squid 2.7 Stable3

http://human.network.web.id/2008/06/30/caching-youtube/

fuckerboyd

  • Newbie
  • *
  • กระทู้: 8
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #10 เมื่อ: 05 พฤศจิกายน 2008, 09:09:04 »
ข้อมูล จาก เทพฝรั่ง Squid 2.7 Stable3

http://human.network.web.id/2008/06/30/caching-youtube/

ไม่ใช่เทพฝรั่งหรอครับ ภาษาอะไรก็ไม่รู้ อ่านไม่ออก

gudgeee

  • Customer Lv.1
  • Newbie
  • ***
  • กระทู้: 20
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #11 เมื่อ: 06 พฤศจิกายน 2008, 06:14:58 »
ตุรกี มั้งครับ อิๆ   มันชอบมาม่อ สาวไทย ใน แคมฟอร์ก   

....ขอบคุณครับ  คุณหนึ่ง 
 นอกจาก squid  ยังเกี่ยวกับ iptables ด้วย
เซริฟตัวที่ 2
eth0 ต่อที่ เซริฟ mutiwan เดิม
eth1 ต่อเข้า วงแลน

echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -F
iptables -t mangle -F
iptables -t filter -F
iptables -X
iptables -A FORWARD -j ACCEPT
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 8080
แต่ก็ยัง  TCP_MEM_HIT อยู่เหมือนเดิม

ทดสอบ   นอกจาก youtube  แล้วยังเก็บได้หมด ทุก  Vdo web  เลย
รอ Admin   upgrade   เป็น  ubuntu 8.10 multiwan    อยู่  ;D
หรือ ผมจะเอาไฟล์ไหน จาก CD แผ่น 2 มาทำ Mutiwan ใช้ไปพลางๆก๋อนได้บ้าง
 
สู้ๆ ครับ Hadyaiinternet

admin

  • Administrator
  • Hero Member
  • *****
  • กระทู้: 3820
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #12 เมื่อ: 06 พฤศจิกายน 2008, 06:50:01 »
TCP_HIT  กับ TCP_MEM_HIT ก็เหมือนกันครับ

TCP_MEM_HIT แสดงว่า เจอไฟล์ที่เก็บไว้ใน MEM ซึ่งถ้าเราตั้ง maximum_object_size_in_memory ไว้เยอะ
มันก็จะพยายามโหลดเข้า MEM เมื่อมีการ HIT มันก็เลยแสดงว่า TCP_MEM_HIT

ส่วน TCP_HIT ก็คือ การ HIT ของ Cache ที่อยู่ใน HDD ตามปกตินั่นเอง

จะว่าไป TCP_MEM_HIT จะเร็วกว่าซะด้วยซ้ำไป สังเกตุจากเวลาในการประมวลผลใน คอลั่มที่สอง ของ logfile นะครับ
<a href="http://www.hadyaiinternet.com/images/inetcafe.swf" target="_blank" rel="noopener noreferrer" class="bbc_link bbc_flash_disabled new_win">http://www.hadyaiinternet.com/images/inetcafe.swf</a>

fuckerboyd

  • Newbie
  • *
  • กระทู้: 8
    • ดูรายละเอียด
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #13 เมื่อ: 06 พฤศจิกายน 2008, 19:08:05 »
เอ...ผมลองทำแล้วมันไม่ได้แฮะมันติดแถวๆนี้หน่ะครับ
snmp_port 3401
snmp_access allow snmpcommunity localhost
snmp_access deny all
 
มันรันคำสั่งนี้ไม่ผ่าน
ผมใช้ 8.10 Squid 2.7 STABLE 3

kulbirsaini

  • Newbie
  • *
  • กระทู้: 1
    • ดูรายละเอียด
    • อีเมล์
Re: ถามเกี่ยวกับ การเก็บ Youtube หรือ Streaming หนัง ครับ
« ตอบกลับ #14 เมื่อ: 27 พฤศจิกายน 2008, 10:34:36 »

# --BEGIN-- youtube_cache config for squid
url_rewrite_children 20
acl youtube_query url_regex -i \.youtube\.com\/get_video
acl metacafe_query dstdomain v.mccont.com
acl dailymotion_query url_regex -i proxy\-[0-9][0-9]\.dailymotion\.com\/
acl google_query dstdomain vp.video.google.com
acl redtube_query dstdomain dl.redtube.com
acl xtube_query url_regex -i p[0-9a-z][0-9a-z]?[0-9a-z]?\.xtube\.com\/videos
acl vimeo_query url_regex bitcast\.vimeo\.com\/vimeo\/videos\/
url_rewrite_access allow youtube_query
url_rewrite_access allow metacafe_query
url_rewrite_access allow dailymotion_query
url_rewrite_access allow google_query
url_rewrite_access allow redtube_query
url_rewrite_access allow xtube_query
url_rewrite_access allow vimeo_query
redirector_bypass on
# --END-- youtube_cache config for squid
-------

This is author of youtube cache. Youtube Cache has come a long way. Please check the latest version of youtube cache at http://cachevideos.com.