diverse squid probs

[quay]

hiho,

hab mit squid folgendes problem :

der server lädt mir manche webseiten nicht vollständig - soll heissen er lädt bei manchen seiten nicht alle img tags.
und zwar vollkommen willkürlich, manche lädt er vollständig, manche nicht.

die images sind eindeutig da - denn wenn ich via masquerading aufrufe dann werden alle geladen.
ich hab auch keine acl lines die dafür verantwortlich sein könnten.

ich hab den squid server bereits mehrmals das cache dir neu erstellen lassen (100 MB, müsste wohl ausreichend sein).
hilft aber nix.......

ausserdem ist mir folgendes aufgefallen :


wenn ich webseiten via masquerading lade - brauchts immer länger als wenn ich sie mit squid lade.

aber wodurch kann das verursacht werden ? - denn die firewall ist in beiden fällen an und in beiden fällen müssen die pakete sämtliche chains passieren.
der unterschied ist nur dass in dem einen fall alle pakete maskiert werden müssen - dafür hab ich in dem anderen fall den umweg über den proxy drinn.

ist masquerading wirklich um soviel langsamer als über den proxy zu gehen ?

achja - ich red hier vom erstmaligen aufruf einer site - dass es ab dem 2ten aufruf einer site über den proxy schneller geht ist sowieso klar......

--qu

[Manuel Capellari]

was issn das für ein rechner ? bzw. wieviel speicher hat er und wieviel is noch frei, wie komplex is das firewall regelwerk?

für mich klingt das ganz danach, als wäre der rechner ein klein wenig zu schwach ...

mach mal <b>renice -20 `pidof -x squid`</b>

[quay]

hmmm - ist das schwach ?.......ein P200 mit 32 MB RAM.

naja - komplex ist die ipchains-konf nicht - sehr - weil ich eh keine dienste anbiete.
nur grad halt soviel dass ich irc/icq/smtp/pop/dns und diverse filesharing dienste benutzen kann.
das ist übrigens mein gateway auf dem ipchains läuft.......

der rechner mit squid ist ein 2ter linux rechner im lan - ein P133 mit 32 MB.

top zeigt mir an dass squid 14 % des speichers nutzt - kommt mir nicht viel vor.
laut top hab ich von den 32MB noch 2.4 MB frei.........
swap wird noch nicht genutzt...
allerdings muss ich dazusagen dass auf dem rechner noch :

named/imapd/postfix/avgated/samba/telnet/ftp/crond server laufen hab.......
das system ist ui 98.8 & idle........

ich glaub nicht dass der P200 zu schwach ist - der macht ja nichts weiter als masq+ipchains.....hmmm....

hast einen tip bez. der partiell geladenen seiten ?

--qu

[Manuel Capellari]

also mein dedizierter squid rechner is ein 486DX4 mit 120 MHz, 48 MB und ziemlich schneller 2 GB platte, da kommts gelegentlich auch zu timeouts ...

tritt das problem mit den teilweise geladenen seiten nach dem ausführen von dem oben genannten befehl auch noch auf?

[mad]

hi,

... also ich fuer meinen teil hab auch so eine 200er dose (allerdings ein ppro)
hier als adsl-gw mit squid rennen; haett aber noch keine performance probs (trotz ~1gb cache) gesehn ...

ein aehnliches problem hab ich eigentlich nur mal in einer kombination mit checkpoint fw1, trendmicro viruswall und squid gesehn .. aber das koenn ma ja bei dir ausschliessen

also
hilfreich waer viellleicht,
welche squid-version hast da eigentlich?,
steht was in den log files (access.log oder cache.log)?
verwendest du einen parent proxy? eigener named? (auch richtig geconfed?)
tritt der fehler nur mit einem bestimmten client (iexplorer/moz/netscape) oder bei allen auf?
if $iexplorer, dann mal in den optionen mit/ohne "http/1.1 ueber proxy" probieren ..

hm tja,
mehr faellt mir da jez auch nicht zu ein...

hth,
mad.

[quay]

hmmm......tja.....da wär ich ja mit meinem P133 eh auf da sichern seite.......

ja das problem tritt immer noch auf - selbst wenn ich die priorität erhöhe.....

also du denkst auch dass die tatsache dass squid schneller ist als masq darin begründet ist dass das maskieren den P200 einfach so in anspruch nimmt ?

ich kann mir das net vorstellen - irgendwas anderes muss da bremsen....

--qu

[Manuel Capellari]

lass doch mal _NUR_ squid ganz normal (nicht transparent) ohne masquerading und ohne packet filter laufen

ich glaube mich dunkel zu erinnern, mal gelesen zu haben, dass ein transparenter squid unter gewissen umständen merkwürdige sachen macht ...

ein versuch wärs jedenfalls wert

[quay]

>welche squid-version hast da eigentlich?,

ich verwende 2.4 STABLE5

>steht was in den log files (access.log oder cache.log)?

naja - eben nicht - keinerlei fehlermeldungen, da hab ich eh zuerst nachgesehen...

>verwendest du einen parent proxy? eigener named? (auch richtig geconfed?)

nein ich verwende keinen parent proxy - und ja - es ist ein eigener named.
und richtig geconfed auch - denn der windows client wie auch der linux server können ohne probs hostnamen auflösen.

>tritt der fehler nur mit einem bestimmten client (iexplorer/moz/netscape) oder bei allen auf?

gerade getestet - sowohl mit IE als auch opera tritt der fehler auf...

>if $iexplorer, dann mal in den optionen mit/ohne "http/1.1 ueber proxy" probieren ..

jup hab ich grad ausprobiert - bringt leider nichts.....

ich versteh das net - hab auch in den NGs oder deja nichts dergleichen gefunden - kann doch net sein dass ich der einzige mit dem problem bin.....


--qu

[mad]

<HTML>hi,

leicht machst du's einem ja nicht

>> steht was in den log files (access.log oder cache.log)?
> naja - eben nicht - keinerlei fehlermeldungen, da hab ich eh zuerst nachgesehen...

da hab ich eigentlich gar nicht speziell fehlermeldungen oder so gmeint;
wenn du eine website aufrufst, und es fehlt ein image,
schau doch mal nach, ob der squid dieses image geholt hat; sprich ob er dafuer einen
eintrag im access.log gemacht hat oder nicht ...
wenn er einen eintrag gemacht hat,
dann vielleicht mal schaun wie lang die "fetch-time" war
(is glaub ich die zweite spalte im access.log) ...

ansonsten ratlosigkeit

mfg,
mad.

ps: wie verhaelt sich der squid in der config die manuel vorgeschlagen hat?</HTML>

[quay]

<HTML>>leicht machst du's einem ja nicht

jo - kann auch nix dafür *g*

>da hab ich eigentlich gar nicht speziell fehlermeldungen oder so gmeint;
>wenn du eine website aufrufst, und es fehlt ein image,
>schau doch mal nach, ob der squid dieses image geholt hat; sprich ob er dafuer >einen
>intrag im access.log gemacht hat oder nicht ...

hmm - er hat die images schon geholt - oder jedenfalls versucht.
ich hab jetzt mal nach dem dateinamen des images im access.log gegrepped.
und wie ich sehe gibt er da status code 302 aus --->

Found 302

The data requested actually resides under a different URL, however, the redirection may be altered on occasion (when making links to these kinds of document, the browser should default to using the Udi of the redirection document, but have the option of linking to the final document) as for "Forward".

squid faq sagt dazu : 302 Moved Temporarily

tjo - nur warum kann ichs dann über masquerading laden ?

das image befindet sich einfach in einem /images subdir des aktuellen pfades - aber das squid damit probleme hat versteh ich nicht.........

ich versteh nicht warum er die images nicht aus dem subdir holt.....
ich habs nämlich grad überprüft - wenn sich die images im stammverzeichnis - sprich im selben directory wie index.html befinden lädt er alle ohne probleme....

hmmm - manuels config hab ich schon probiert - ändert sich nichts.......

--qu</HTML>

[mad]

> squid faq sagt dazu : 302 Moved Temporarily
> tjo - nur warum kann ichs dann über masquerading laden ?

.. weil dann der browser selbst den redirect auf die neue url macht.

aeh ... kannst biiiitte nochmal checken welche squid-version das is?
squid 2.4STABLE5 gibts naemlich nicht?!

kann es sein, dass du einen 2.2STABLE5 laufen hast?
probier mal auf was upzugraden, das aus _diesem_ jahrhundert is

hth,
mad.

[quay]

hui - ja ich habs später bemerkt - ist natürlich :

2.4 STABLE3

und das ist latest stable........

aber wart mal - warum redirect ?? - es handelt sich doch hier einfach nur um ein unterverzeichnis - nicht um eine andere domain.........

ist eigentlich nicht normal dass er keine redirects auf subdirs machen kann oder ?


--qu

[mad]

hast da eigentluch auch eine url wo das phenomaen auftritt?
(*gerntestenwuerd*)

> aber wart mal - warum redirect ?? - es handelt sich doch hier einfach nur um ein unterverzeichnis - nicht um eine andere domain

jo scho scho
aber aufm webserver (wenns ein apache is)
is irgendwas in der art

Redirect /undbunt/bildl.jpg http://servername/undnochmehrbunt/bild.jpg

geconfed.

ergo redirect schon der apache (egal ob auf anders dir oder anderen server)
aber fuer den client siehts immer wie eine weiterleitung (302) auf eine andere url aus
und dein squid macht das offensichtlich nicht ..

aber zeig mal eine url wo das auftritt ..
gibts ja nicht dass ein 2.4er squid das nicht kann

mfg,
mad.

[quay]

>hast da eigentluch auch eine url wo das phenomaen auftritt?
>(*gerntestenwuerd*)

hast leicht auch squid laufen ? - selbe version ?
meiner steht nämlich im internen Netz und ist von aussen nicht erreichbar.

hmm - jetzt versteh ich echt nichts mehr - grad hat er mir eine seite nicht vollständig geladen wo die bilder eh im web-root waren........*verwirrt bin*.....

http://www.eaglespirit.ch/Pictures/Pictures.html

hier - werden zB alle bilder nicht geladen - obwohl sie sich sogar im selben verzeichnis befinden - wie ich oben sagte - i checks nimmer....

mit dem ycn proxy (Stable2) werden die problemlos geladen - also das kann kein bug mehr sein - weil sonst würds ja mehr geben die das erleben.....
irgendwo muss ich in der squid.conf einen fehler gemacht haben, weil sonst gibts das nicht........

--qu

[mad]

<HTML>
> hast leicht auch squid laufen ? - selbe version ?

ja. aber noch 2.4stable2.
und da geht die angegebene url problemlos; ich habs auch mit ner url probiert die eigentlich 302 zurueckgibt .. ohne probleme.


> irgendwo muss ich in der squid.conf einen fehler gemacht haben, weil sonst gibts das nicht........

hm, ... also wenn ich mir meine squid.conf so anschau
is eigentlich nix besonderes geconfed ... sozusagen eine ideal-std config

auszug aus grep -v ^# squid.conf | grep -v ^$ zeigt ...

icp_port 0
cache_peer speed.ycn.com parent 3128 0 no-query

hab zwar den parent geconfed, aber weiter unten ein

prefer_direct on

(sprich der parent wird nur als fallback verwendet; wegen ycn fair-use proxy und so

ansonsten

cache_mem 8 MB
maximum_object_size 32768 KB
maximum_object_size_in_memory 256 KB
cache_replacement_policy lru
cache_dir ufs /usr/local/squid/cache 1024 16 256
cache_store_log none
dns_nameservers 127.0.0.1
redirect_program /usr/local/etc/squid/squid_redirect # <- is der ad-zapper, i hate 'em

jede menge acls noch,
aber sonst eher nix relevantes mehr ...

wie siehts da bei deiner config aus?
irgendwas besonderes geconfed?
hast den squid eigentlich selbst compiled oder ein package des distributors verwendet?

mfg,
mad.
</HTML>